Statistik dan Big Data

Saya berjuang untuk menemukan metode untuk mengurangi jumlah kategori dalam data nominal atau ordinal. Sebagai contoh, katakanlah saya ingin membangun model regresi pada dataset yang memiliki sejumlah faktor nominal dan ordinal. Meskipun saya tidak memiliki masalah dengan langkah ini, saya sering mengalami situasi di mana fitur nominal tanpa pengamatan dalam …

14 r  categorical-data  dimensionality-reduction  many-categories 

Jalan acak Metropolis-Hasitings dengan proposal simetris q( x | y) = g( | y- x | )q(x|y)=g(|y-x|)q(x|y)= g(|y-x|) memiliki properti yang kemungkinan penerimaannya P( a c c e p t y ) = min { 1 , f( y) / f( x ) }P(Sebuahccehalt y)=min{1,f(y)/f(x)}P(accept\ y) = \min\{1, f(y)/f(x)\} tidak …

14 mcmc  metropolis-hastings 

Sangat mudah untuk menghasilkan variabel acak dengan distribusi Dirichlet menggunakan variabel Gamma dengan parameter skala yang sama. Jika: Xi∼Gamma(αi,β)Xi∼Gamma(αi,β) X_i \sim \text{Gamma}(\alpha_i, \beta) Kemudian: (X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn)(X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn) \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \text{Dirichlet}(\alpha_1,\;\ldots\;,\alpha_n) Masalah Apa yang terjadi jika parameter skala tidak sama? Xi∼Gamma(αi,βi)Xi∼Gamma(αi,βi) X_i \sim \text{Gamma}(\alpha_i, \beta_i) Lalu apa distribusi …

14 expected-value  dirichlet-distribution  gamma-distribution  integral 

Saya mencoba memahami cara kerja mesin Boltzmann, tetapi saya tidak begitu yakin bagaimana bobot dipelajari, dan belum dapat menemukan deskripsi yang jelas. Apakah yang berikut ini benar? (Juga, petunjuk penjelasan mesin Boltzmann yang bagus juga akan bagus.) Kami memiliki satu set unit yang terlihat (mis., Terkait dengan piksel hitam / …

14 neural-networks 

Saya harap ini bukan pertanyaan konyol. Katakanlah saya memiliki beberapa distribusi berkelanjutan yang sewenang-wenang. Saya juga memiliki statistik, dan saya ingin menggunakan distribusi sewenang-wenang ini untuk mendapatkan nilai p untuk statistik ini. Saya menyadari bahwa di R mudah untuk melakukan ini selama distribusi Anda sesuai dengan salah satu yang ada …

14 r  distributions  p-value 

Saya ingin belajar lebih banyak tentang visualisasi data interaktif (zooming, menunjuk, menyikat, pemetaan titik dan sebagainya). Saya akan menyambut apa pun: Tutorial / panduan / buku (?) / Video tentang cara menggunakan metode tersebut untuk eksplorasi statistik. Pointer untuk paket data-viz interaktif yang baik / menarik (dalam R, dan di …

14 data-visualization  interactive-visualization 

Misalkan saya ingin membangun classifier biner. Saya memiliki beberapa ribu fitur dan hanya beberapa sampel. Dari pengetahuan domain, saya punya alasan kuat untuk percaya bahwa label kelas dapat diprediksi secara akurat hanya dengan menggunakan beberapa fitur, tetapi saya tidak tahu yang mana . Saya juga ingin aturan keputusan akhir mudah …

14 regression  logistic  multiple-comparisons  stepwise-regression 

Eksperimen deteksi sinyal biasanya menghadirkan pengamat (atau sistem diagnostik) dengan sinyal atau non-sinyal, dan pengamat diminta untuk melaporkan apakah menurut mereka item yang disajikan adalah sinyal atau non-sinyal. Eksperimen tersebut menghasilkan data yang mengisi matriks 2x2: Teori pendeteksian sinyal mewakili data seperti mewakili skenario di mana keputusan "sinyal / non-sinyal" …

14 diagnostic  signal-detection 

Dalam makalah baru-baru ini, saya memasang model efek tetap tiga arah. Karena salah satu faktor tidak signifikan (p> 0,1), saya menghapusnya dan memasang kembali model dengan dua efek tetap dan interaksi. Saya baru saja mendapat komentar wasit kembali, mengutip: Waktu itu bukan merupakan faktor yang signifikan dalam ANOVA 3-arah itu …

14 anova  fixed-effects-model 

Di R, drop1perintah menghasilkan sesuatu yang rapi. Dua perintah ini akan memberi Anda beberapa output: example(step)#-> swiss drop1(lm1, test="F") Milik saya terlihat seperti ini: > drop1(lm1, test="F") Single term deletions Model: Fertility ~ Agriculture + Examination + Education + Catholic + Infant.Mortality Df Sum of Sq RSS AIC F value …

14 r  regression  self-study  stepwise-regression 

Apakah ada yang tahu beberapa kode yang ditulis dengan baik (dalam Matlab atau R) untuk MCMC jump reversible? Lebih disukai aplikasi demo sederhana untuk memuji makalah tentang masalah ini, yang akan berguna dalam memahami prosesnya.

14 r  matlab  references  mcmc 

Sebagian besar hasil asimptotik dalam statistik membuktikan bahwa ketika estimator (seperti MLE) konvergen ke distribusi normal berdasarkan ekspansi taylor orde kedua dari fungsi kemungkinan. Saya percaya ada hasil yang serupa dalam literatur Bayesian, "Bayesian Central Limit Theorem", yang menunjukkan bahwa posterior konvergen asimtotik ke normal seperti n → ∞n→∞n→∞n \rightarrow …

14 mathematical-statistics  asymptotics  saddlepoint-approximation 

Konteks pertanyaan ini adalah dalam kerangka kerja kesehatan yaitu melihat satu atau lebih terapi dalam pengobatan suatu kondisi. Tampaknya peneliti yang dihormati pun mengacaukan istilah kemanjuran dan efektivitas , dengan menggunakan istilah itu secara bergantian. Bagaimana seseorang dapat berpikir tentang kemanjuran versus keefektifan dengan cara yang dapat membantu menghilangkan kebingungan? …

14 epidemiology  causality  clinical-trials  definition  instrumental-variables 

Saya menganalisis jaringan sosial (bukan virtual) dan saya mengamati koneksi antara orang-orang. Jika seseorang memilih orang lain untuk dihubungkan secara acak, jumlah koneksi dalam sekelompok orang akan didistribusikan secara normal - setidaknya sesuai dengan buku yang sedang saya baca. Bagaimana kita bisa tahu distribusinya adalah Gaussian (normal)? Ada distribusi lain …

14 distributions  networks  central-limit-theorem 

Saya mulai melakukan Monte Carlo di R sebagai hobi, tetapi akhirnya seorang analis keuangan menyarankan untuk bermigrasi ke Matlab. Saya seorang pengembang perangkat lunak yang berpengalaman. tapi seorang pemula Monte Carlo. Saya ingin membangun model statis dengan analisis sensitivitas, kemudian model dinamis. Perlu pustaka / algoritma yang baik yang membimbing …

14 r  matlab  monte-carlo