Statistik dan Big Data

Masalah ini telah muncul sebelumnya, tetapi saya ingin mengajukan pertanyaan spesifik yang akan berusaha mendapatkan jawaban yang akan mengklarifikasi (dan mengklasifikasikan): Dalam "Poor Man's Asymptotics", seseorang menyimpan perbedaan yang jelas di antara keduanya (A) urutan variabel acak yang konvergen dalam probabilitas ke konstan berbeda dengan (B) urutan variabel acak yang …

18 mathematical-statistics  variance  convergence  asymptotics  consistency 

Saya bekerja di domain masalah di mana orang sering melaporkan ROC-AUC atau AveP (presisi rata-rata). Namun, saya baru-baru ini menemukan makalah yang mengoptimalkan Kehilangan Log , sementara yang lain melaporkan Kehilangan Engsel . Sementara saya mengerti bagaimana metrik ini dihitung, saya mengalami kesulitan memahami trade-off antara mereka dan mana yang …

18 loss-functions 

Saya memahami konsep bahwa ß 0 adalah mean ketika variabel kategoris sama dengan 0 (atau kelompok referensi), memberikan interpretasi akhir bahwa koefisien regresi adalah perbedaan mean dari dua kategori. Bahkan dengan> 2 kategori saya akan menganggap setiap β menjelaskan perbedaan antara kategori ini berarti dan referensi.β^0β^0\hat\beta_0β^β^\hat\beta Tetapi, bagaimana jika lebih …

18 multiple-regression  categorical-data  interpretation  regression-coefficients  contrast 

Mengapa ahli statistik melarang kami untuk merujuk hasil sebagai " sangat signifikan" ketika nilai- jauh di bawah tingkat- α konvensional 0,05 ?pppαα\alpha0.050.050.05 Apakah benar-benar salah mempercayai hasil yang memiliki peluang 99,9% untuk tidak menjadi kesalahan Tipe I ( ) lebih dari hasil yang hanya memberi Anda peluang itu pada 99% …

18 hypothesis-testing  statistical-significance  p-value  terminology 

Diambil dari Grimmet dan Stirzaker : Tunjukkan bahwa tidak dapat menjadi kasus bahwa U=X+YU=X+YU=X+Y mana terdistribusi secara seragam pada [0,1] dan dan adalah independen dan terdistribusi secara identik. Anda tidak boleh berasumsi bahwa X dan Y adalah variabel kontinu.UUUXXXYYY Sebuah bukti sederhana dengan mencukupi kontradiksi untuk kasus di mana , …

18 probability  random-variable  continuous-data  uniform  proof 

Beberapa dari Anda mungkin telah membaca makalah yang bagus ini: O'Hara RB, Kotze DJ (2010) Jangan log-transform data hitungan. Metode dalam Ekologi dan Evolusi 1: 118-122. klick . Dalam bidang penelitian saya (ekotoksikologi), kita sedang berhadapan dengan eksperimen yang direplikasi dengan buruk dan GLM tidak banyak digunakan. Jadi saya melakukan …

18 r  generalized-linear-model  simulation  negative-binomial  type-i-and-ii-errors 

Saya berharap seseorang dapat mengajukan argumen yang menjelaskan mengapa variabel acak dan , memiliki distribusi normal standar, secara statistik independen. Bukti untuk fakta itu dengan mudah mengikuti dari teknik MGF, namun saya merasa sangat kontra-intuitif.Y1=X2−X1Y1=X2−X1Y_1=X_2-X_1Y2=X1+X2Y2=X1+X2Y_2=X_1+X_2XiXiX_i Karena itu saya akan menghargai intuisi di sini, jika ada. Terima kasih sebelumnya. EDIT : …

18 probability  self-study  mathematical-statistics 

Pemahaman saya tentang perdebatan bayesian vs sering adalah bahwa statistik sering: adalah (atau mengklaim sebagai) objektif atau setidaknya tidak bias jadi peneliti yang berbeda, menggunakan asumsi yang berbeda masih bisa mendapatkan hasil yang sebanding secara kuantitatif sementara statistik bayesian mengklaim membuat prediksi "lebih baik" (mis. kerugian yang diperkirakan lebih rendah), …

18 bayesian  quality-control 

Saya ingin mengubah data saya sehingga varians akan menjadi satu dan kovariansi akan menjadi nol (yaitu saya ingin memutihkan datanya). Lebih jauh lagi, berarti harus nol.XX\mathbf X Saya tahu saya akan sampai di sana dengan melakukan standardisasi-Z dan transformasi PCA, tetapi dalam urutan apa saya harus melakukannya? Saya harus menambahkan …

18 pca  linear-algebra 

Saya telah mengimplementasikan HMM diskrit menurut tutorial ini http://cs229.stanford.edu/section/cs229-hmm.pdf Tutorial ini dan yang lainnya selalu berbicara tentang pelatihan HMM yang diberikan urutan pengamatan. Apa yang terjadi ketika saya memiliki beberapa rangkaian latihan? Haruskah saya menjalankannya secara berurutan, melatih model setelah yang lain? Pilihan lain adalah menggabungkan urutan ke satu dan …

18 hidden-markov-model 

Apa distribusi kuadrat dari variabel acak terdistribusi normal dengan ? Saya tahu adalah argumen yang valid ketika mengkuadratkan distribusi normal standar , tetapi bagaimana dengan kasus varian non-unit?X2X2X^2X∼ N( 0 , σ2/ 4)X∼N(0,σ2/4)X\sim N(0,\sigma^2/4)χ2( 1 ) = Z2χ2(1)=Z2\chi^2(1)=Z^2

18 distributions  normal-distribution 

Saya menemukan penjelasan berikut di blog dan saya ingin mendapatkan informasi lebih lanjut tentang non-transitivitas korelasi: Kami memiliki fakta tak terbantahkan berikut: Rata-rata, ada perbedaan volume otak antara pria dan wanita Ada korelasi antara IQ dan ukuran otak; korelasinya adalah 0,33 dan dengan demikian sesuai dengan 10% dari variabilitas IQ …

18 correlation  categorical-data  mean  descriptive-statistics  neuroscience 

Saya mencari buku pengantar tingkat menengah tentang Generalized Linear Models. Idealnya, selain teori di balik model, saya ingin memasukkan aplikasi dan contoh dalam R atau bahasa pemrograman lain - Saya dengar SAS juga merupakan pilihan yang populer. Saya bermaksud mempelajarinya sendiri dan jadi akan membantu jika memberikan jawaban untuk latihannya …

18 self-study  generalized-linear-model  references 

Pertimbangkan kemungkinan log campuran Gaussians: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlog⁡f(x(t)|θ)=∑t=1nlog⁡{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\} Saya bertanya-tanya mengapa sulit secara komputasi untuk memaksimalkan persamaan itu secara langsung? Saya mencari intuisi yang jelas tentang mengapa harus jelas bahwa itu sulit atau mungkin penjelasan yang lebih keras mengapa sulit. Apakah ini masalah NP-complete …

18 machine-learning  gaussian-mixture  expectation-maximization 

Saya menggunakan scikit-belajar Python untuk melatih dan menguji regresi logistik. scikit-belajar mengembalikan koefisien regresi dari variabel independen, tetapi itu tidak memberikan kesalahan standar koefisien. Saya membutuhkan kesalahan standar ini untuk menghitung statistik Wald untuk setiap koefisien dan, pada gilirannya, membandingkan koefisien ini satu sama lain. Saya telah menemukan satu deskripsi …

18 logistic  python  standard-error  regression-coefficients  scikit-learn