Statistik dan Big Data

Apakah ada paket R (atau bahkan fungsi R dasar) yang mengimplementasikan metode Fisher atau Stouffer untuk menggabungkan nilai-p? Pengkodean ini seharusnya hampir sepele, tetapi saya lebih suka menggunakan (dan mengutip) sebuah paket. Contoh kode dalam pertanyaan ini: Metode Fisher untuk menyisir nilai-p - bagaimana dengan ekor bawah?

10 r  combining-p-values 

Saya tertarik pada jenis kasus berikut: ada variabel acak kontinu 'n' yang harus berjumlah 1. Apa yang akan menjadi PDF untuk setiap variabel tersebut? Jadi, jika , maka saya tertarik pada distribusi untuk , di mana , dan semuanya didistribusikan secara seragam. Rata-rata tentu saja, dalam contoh ini, adalah , …

10 uniform 

Saya menguji independensi dalam tabel kontingensi Saya tidak tahu apakah G-test atau uji chi-square Pearson lebih baik. Ukuran sampel ada dalam ratusan tetapi ada beberapa jumlah sel yang rendah. Seperti yang dinyatakan pada halaman Wikipedia , perkiraan untuk distribusi chi-squared lebih baik untuk G-test daripada untuk uji chi-squared Pearson. Tapi …

10 chi-squared  p-value  monte-carlo  contingency-tables 

Saya melihat fungsi biaya lintas-entropi yang ditemukan dalam tutorial ini : C=−1n∑x[ylna+(1−y)ln(1−a)]C=−1n∑x[yln⁡a+(1−y)ln⁡(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] Apa sebenarnya yang kita simpulkan? Ini tentu saja lebih dari , tetapi dan tidak berubah dengan . Semua adalah input ke dalam . bahkan didefinisikan dalam paragraf di atas persamaan sebagai fungsi …

10 neural-networks  error-propagation 

Kapan transformasi bobot bukti (WOE) dari variabel kategori bermanfaat? Contohnya dapat dilihat pada transformasi WOE (Jadi untuk respons , & prediktor kategoris dengan kategori , & berhasil keluar dari percobaan dalam kategori dari prediktor ini, WOE untuk kategori didefinisikan sebagaiyyykkkyjyjy_jnjnjn_jjjjjjj logyj∑kjyj∑kj(nj−yj)nj−yjlog⁡yj∑jkyj∑jk(nj−yj)nj−yj\log \frac{y_j} {\sum_j^k {y_j}} \frac{\sum_j^k (n_j-y_j)}{n_j-y_j} & transformasi terdiri dari …

10 logistic  categorical-data  regression-strategies 

Saya bertanya-tanya di mana ada rumus umum untuk menghubungkan nilai yang diharapkan dari variabel acak kontinu sebagai fungsi dari kuantil dari rv yang sama Nilai yang diharapkan dari rv didefinisikan sebagai: dan kuantil didefinisikan sebagai: untuk .E ( X ) = ∫ x d F X ( x ) Q …

10 expected-value  quantiles  quantile-regression 

Cara klasik analisis komponen utama '(PCA) adalah untuk melakukannya pada input data matriks yang kolom memiliki rata-rata nol (maka PCA dapat "memaksimalkan varians"). Ini dapat dicapai dengan mudah dengan memusatkan kolom. Namun, ketika matriks input jarang, matriks tengah sekarang akan lebih jarang, dan - jika matriks sangat besar - dengan …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

Sejauh yang saya lihat, pendapat cenderung berbeda tentang ini. Praktik terbaik tentu akan menentukan menggunakan validasi silang (terutama jika membandingkan RF dengan algoritma lain pada dataset yang sama). Di sisi lain, sumber asli menyatakan bahwa fakta kesalahan OOB dihitung selama pelatihan model cukup dari indikator kinerja set tes. Bahkan Trevor …

10 cross-validation  random-forest  overfitting  out-of-sample 

Sebelumnya saya telah memiliki sejumlah pertanyaan yang diajukan kepada saya terkait dengan makalah yang diterbitkan di sejumlah bidang di mana regresi (dan model terkait, seperti model panel atau GLM) digunakan pada data pengamatan (yaitu data yang tidak dihasilkan oleh eksperimen terkontrol , dalam banyak kasus - tetapi tidak selalu - …

10 regression  references  instrumental-variables  observational-study 

Apa keuntungan mengekspresikan model ARMA sebagai model ruang-negara dan melakukan peramalan menggunakan filter Kalman? Metodologi ini misalnya digunakan dalam implementasi SARIMAX dari python-statsmodels: https://github.com/statsmodels/statsmodels/tree/master/statsmodels/tsa/statespace

10 forecasting  arma  kalman-filter  state-space-models  statsmodels 

Adakah yang bisa memberi tahu saya apa nama diagram jenis ini (jika ada)? Adakah yang bisa menyarankan alat apa pun, sesederhana apa pun, untuk merencanakan diagram seperti itu?

10 categorical-data  proportion 

Saya sedang membangun model Bayesian hierarkis yang agak rumit untuk meta-analisis menggunakan R dan JAGS. Menyederhanakan sedikit, dua tingkat kunci dari model memiliki mana adalah th pengamatan titik akhir (dalam hal ini, hasil panen GM vs non-GM) dalam studi , adalah efek untuk studi , s adalah efek untuk berbagai …

10 autocorrelation  multilevel-analysis  mcmc  jags 

Saya sedang membaca: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Tapi sepertinya saya tidak bisa mengerti persis mengapa formula itu dibuat seperti itu. Apa yang saya Pahami: iDF pada tingkat tertentu harus mengukur seberapa sering suatu istilah S muncul di setiap dokumen, menurun nilainya ketika istilah itu muncul lebih sering. Dari perspektif itu saya D F( …

10 machine-learning  clustering  mathematical-statistics  text-mining  natural-language 

Pertanyaan ini dari Pengantar Robert Hogg untuk Statistik Matematika 6 Versi masalah 7.4.9 di halaman 388. Biarkan menjadi iid dengan pdf nol di tempat lain, di mana .X1,...,XnX1,...,XnX_1,...,X_nf(x;θ)=1/3θ,−θ<x<2θ,f(x;θ)=1/3θ,−θ<x<2θ,f(x;\theta)=1/3\theta,-\theta0 (a) Temukan mle dariθ^θ^\hat{\theta}θθ\theta (B) Apakah statistik yang cukup untuk ? Mengapaθ^θ^\hat{\theta}θθ\theta (c) Apakah MVUE unik dari ? Mengapa(n+1)θ^/n(n+1)θ^/n(n+1)\hat{\theta}/nθθ\theta Saya pikir saya …

10 self-study  maximum-likelihood  order-statistics  sufficient-statistics  umvue 

Sistem pemeringkatan Elo menggunakan algoritma minimisasi gradient descent dari fungsi kehilangan lintas-entropi antara probabilitas yang diharapkan dan yang diamati dari suatu hasil dalam perbandingan berpasangan. Kita dapat menulis fungsi kerugian umum sebagai E=−∑n,ipiLog(qi)E=−∑n,ipiLog(qi) E=-\sum_{n,i} p_i Log (q_i) di mana jumlah dilakukan atas semua hasil iii dan semua lawan nnn . …

10 regression  optimization  rating