Statistik dan Big Data

Saya membaca tentang fungsi kuantil, tetapi tidak jelas bagi saya. Bisakah Anda memberikan penjelasan yang lebih intuitif daripada yang disediakan di bawah ini? Karena cdf FFF adalah fungsi yang meningkat secara monoton, ia memiliki kebalikan; mari kita nyatakan ini dengan F−1F−1F^{−1} . Jika FFF adalah cdf dari XXX , maka …

25 distributions  cdf  inverse-cdf  quantile-function 

Kutipan blok di bawah ini, dari para pemimpin di bidang pemodelan efek campuran, mengklaim bahwa mengoordinasikan pergeseran dalam model dengan korelasi nol antara efek acak (model 'ZCP') mengubah prediksi model. Tapi, bisakah seseorang menguraikan atau lebih jauh membenarkan klaim mereka? Pernyataan yang dipertanyakan berasal dari makalah Bates et al 2015 …

25 r  mixed-model  lme4-nlme 

Dalam buku Jaynes "Probability Theory: The Logic of Science" , Jaynes memiliki bab (Bab 18) berjudul " Distribusi dan aturan suksesi" di mana ia memperkenalkan ide distribusi , yang mana bagian ini membantu menggambarkan:ApApA_pApApA_p [...] Untuk melihatnya, bayangkan efek mendapatkan informasi baru. Misalkan kita melemparkan koin lima kali dan muncul …

25 probability  bayesian  beta-distribution 

Saya telah bekerja dengan kumpulan data besar belakangan ini dan menemukan banyak makalah metode streaming. Untuk beberapa nama: Ikuti-the-Regularized-Leader dan Mirror Descent: Teorema Kesetaraan dan Regularisasi L1 ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Streamed Learning: One-Pass SVMs ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: Primal Estimasi sub-GrAdient SOlver untuk SVM http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf atau di sini: Dapatkah SVM …

25 machine-learning  references  large-data  online 

Saya telah menjadi semacam nihilis ketika datang ke peringkat tingkat kepentingan variabel (dalam konteks model multivarian dari semua jenis). Seringkali dalam perjalanan pekerjaan saya, saya diminta untuk membantu tim lain menghasilkan peringkat kepentingan variabel, atau menghasilkan peringkat kepentingan variabel dari pekerjaan saya sendiri. Menanggapi permintaan ini, saya mengajukan pertanyaan berikut …

25 multiple-regression  multivariate-analysis  importance 

Membaca CV klasik sepanjang masa, saya menemukan pernyataan yang ingin saya klarifikasi. Ini adalah posting dan pertanyaan saya mengacu pada kata penutup: "Saya harus mencatat bahwa semua pengetahuan yang baru saja saya berikan agak usang; sekarang kami memiliki komputer, kami bisa melakukan lebih baik daripada uji-t. Seperti yang dicatat Frank, …

25 hypothesis-testing  t-test  permutation-test  wilcoxon-mann-whitney 

Saya melakukan beberapa percobaan numerik yang terdiri dari pengambilan sampel distribusi lognormal X∼LN(μ,σ)X∼LN(μ,σ)X\sim\mathcal{LN}(\mu, \sigma) , dan mencoba memperkirakan momen dengan dua metode:E[Xn]E[Xn]\mathbb{E}[X^n] Melihat rata-rata sampelXnXnX^n Memperkirakan dan dengan menggunakan mean sampel untuk , dan kemudian menggunakan fakta bahwa untuk distribusi lognormal, kita memiliki .σ 2μμ\muσ2σ2\sigma^2E [ X n ] = …

25 estimation  bias  lognormal  moments 

Saat ini saya kesulitan menemukan model yang tepat untuk data penghitungan yang sulit (variabel dependen). Saya telah mencoba berbagai model yang berbeda (model efek campuran diperlukan untuk jenis data saya) seperti lmerdan lme4(dengan log transformasi) serta model efek campuran linier umum dengan berbagai keluarga seperti Gaussian atau binomial negatif. Namun, …

25 generalized-linear-model  residuals  negative-binomial  count-data  glmm 

Estimasi kemungkinan maksimum seringkali menghasilkan estimasi bias (mis. Estimasi untuk varians sampel bias untuk distribusi Gaussian). Lalu apa yang membuatnya begitu populer? Mengapa persisnya itu digunakan begitu banyak? Juga, apa yang secara khusus membuatnya lebih baik daripada pendekatan alternatif - metode momen? Juga, saya perhatikan bahwa untuk Gaussian, penskalaan sederhana …

25 normal-distribution  maximum-likelihood  method-of-moments 

Saya tahu bahwa komunitas fisika dan matematika sangat menyukai ArXiv, tetapi bagaimana dengan komunitas statistik? Apakah sudah biasa memposting di sana sebelum pengiriman?

25 references  academia 

Saya ingin menunjukkan bagaimana nilai-nilai variabel tertentu (~ 15) berubah seiring waktu, tetapi saya juga ingin menunjukkan bagaimana variabel berbeda satu sama lain di setiap tahun. Jadi saya membuat plot ini: Tetapi bahkan ketika mengubah skema warna atau menambahkan jenis garis / bentuk yang berbeda ini terlihat berantakan. Apakah ada …

25 r  data-visualization 

Misalkan Saya menjalankan regresi . Mengapa dengan memilih komponen prinsip k atas X , apakah model mempertahankan daya prediksi pada Y ?Y∼XY∼XY \sim XkkkXXXYYY Saya mengerti bahwa dari dimensi-reduksi / titik fitur-seleksi pandang, jika adalah vektor eigen dari kovarians matriks X dengan top k eigen, maka X v 1 , …

25 regression  classification  pca  dimensionality-reduction  regularization 

Saya telah membaca sebuah artikel yang mengatakan bahwa ketika menggunakan kontras yang direncanakan untuk menemukan cara yang berbeda dalam ANOVA satu arah, konstrast harus ortogonal sehingga mereka tidak berkorelasi dan mencegah kesalahan tipe I dari inflasi. Saya tidak mengerti mengapa ortogonal berarti tidak berkorelasi dalam keadaan apa pun. Saya tidak …

25 correlation  independence 

The lmerTestpaket menyediakan anova()fungsi untuk model linear campuran dengan opsional pendekatan Satterthwaite (default) atau Kenward-Roger dari derajat kebebasan (df). Apa perbedaan antara kedua pendekatan ini? Kapan memilih yang mana?

25 r  anova  mixed-model  lme4-nlme  degrees-of-freedom 

Saya punya beberapa pertanyaan tentang penalti punggungan dalam konteks kuadrat terkecil: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Ekspresi menunjukkan bahwa matriks kovarians X menyusut ke arah matriks diagonal, yang berarti bahwa (dengan asumsi bahwa variabel distandarisasi sebelum prosedur) korelasi antara variabel input akan diturunkan. Apakah interpretasi ini benar? 2) …

25 regression  pca  regularization  ridge-regression