Statistik dan Big Data

Ketika saya mengetahui tentang Jeffrey sebelum kelas inferensi statistik lulusan saya, profesor saya membuatnya terdengar seperti menarik terutama karena alasan sejarah daripada karena siapa pun akan menggunakannya. Kemudian ketika saya mengambil analisis data Bayesian, kami tidak pernah diminta untuk menggunakan prior Jeffreys. Apakah ada yang benar-benar menggunakan ini dalam praktek. …

11 bayesian  prior  jeffreys-prior 

Saya telah memikirkan sesuatu untuk beberapa waktu sekarang, dan karena saya tidak terlalu mahir dalam teori probabilitas, saya pikir ini bisa menjadi tempat yang baik untuk mengajukan pertanyaan ini. Ini adalah sesuatu yang menghampiri saya dalam antrian panjang angkutan umum. Misalkan Anda berada di stasiun bus, dan Anda tahu bahwa …

11 probability 

Jika tim peneliti melakukan beberapa tes (hipotesis) pada set data yang diberikan, ada volume literatur yang menyatakan bahwa mereka harus menggunakan beberapa bentuk koreksi untuk pengujian ganda (Bonferroni, dll), bahkan jika tes tersebut independen. Pertanyaan saya adalah ini: apakah logika yang sama ini berlaku untuk beberapa tim menguji hipotesis pada …

11 hypothesis-testing  multiple-comparisons 

Saya tahu bahwa kami menggunakan untuk memperkirakan variasi populasi. Saya ingat sebuah video dari Khan Academy di mana intuisi yang diberikan adalah bahwa estimasi rata-rata kami mungkin sedikit berbeda dengan yang sebenarnya sehingga jarak akan benar-benar lebih besar, jadi kami membaginya dengan lebih sedikit ( daripada ) untuk mendapatkan nilai …

11 variance  sample 

Saya telah mengidentifikasi beberapa tempat di buku teks di mana GLM dijelaskan dengan 5 distribusi (yaitu, Gamma, Gaussian, Binomial, Inverse Gaussian, & Poisson). Ini juga dicontohkan dalam fungsi keluarga dalam R. Kadang-kadang saya menemukan referensi ke GLM di mana distribusi tambahan disertakan ( contoh ). Dapatkah seseorang menjelaskan mengapa 5 …

11 r  probability  distributions  generalized-linear-model 

Saya menggunakan PyMC3 untuk menjalankan model Bayesian pada data saya. Saya baru untuk pemodelan Bayesian tetapi menurut beberapa posting blog , Wikipedia dan QA dari situs ini, tampaknya menjadi pendekatan yang valid untuk menggunakan faktor Bayes dan kriteria BIC untuk dapat memilih model apa yang paling mewakili data saya (yang …

11 bayesian  model-selection  pymc 

Saya harus mengakui bahwa saya sebelumnya belum pernah mendengar istilah itu di kelas, sarjana, atau pascasarjana saya. Apa artinya regresi logistik menjadi Bayesian? Saya mencari penjelasan dengan transisi dari logistik reguler ke logistik Bayesian seperti berikut ini: Ini adalah persamaan dalam model regresi linier: .E(y)=β0+β1x1+...+βnxnE(y)=β0+β1x1+...+βnxnE(y) = \beta_0 + \beta_1x_1 + …

11 regression  logistic  bayesian  multiple-regression  generalized-linear-model 

Saya ingin mensimulasikan proses tamasya Brown (gerakan Brown yang dikondisikan selalu positif ketika hingga pada t = 1 ). Karena proses tamasya Brown adalah jembatan Brown yang dikondisikan untuk selalu positif, saya berharap untuk mensimulasikan gerakan tamasya Brown menggunakan jembatan Brown.0<t<10<t<10 \lt t \lt 1000t=1t=1t=1 Dalam R, saya menggunakan paket …

11 r  gaussian-process  brownian 

Saya akan melalui bagian LAB §6.6 tentang Ridge Regression / Lasso dalam buku 'Pengantar Pembelajaran Statistik dengan Aplikasi dalam R' oleh James, Witten, Hastie, Tibshirani (2013). Lebih khusus lagi, saya mencoba menerapkan model scikit-learning Ridgeke dataset 'Hitters' dari paket R 'ISLR'. Saya telah membuat set fitur yang sama seperti yang …

11 r  machine-learning  scikit-learn  regression 

Berikan bukti bahwa adalah cembung . Di sini, dan adalah standar normal untuk PDF dan CDF.Q(x)=x2+xϕ(x)Φ(x)Q(x)=x2+xϕ(x)Φ(x)Q\left(x\right)=x^{2}+x\frac{\phi\left(x\right)}{\Phi\left(x\right)}∀x>0∀x>0\forall x>0 ϕϕ\phiΦΦ\mathbf{\Phi} LANGKAH MENCOBA 1) METODE CALCULUS Saya telah mencoba metode kalkulus dan memiliki rumus untuk turunan kedua, tetapi saya tidak dapat menunjukkan bahwa itu adalah positif . Harap beri tahu saya jika Anda …

11 probability  self-study 

Saya telah memasang model linear umum yang kemungkinan lognya adalah L u .y=β0+β1x1+β2x2+β3x3,y=β0+β1x1+β2x2+β3x3,y=\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_3,LuL.kamuL_u Sekarang saya ingin menguji apakah koefisiennya sama. Pertama, uji keseluruhan : kemungkinan log dari model tereduksi adalah L r . Dengan uji rasio kemungkinan, model lengkap secara signifikan lebih baik daripada yang dikurangi dengan p = 0,02 …

11 hypothesis-testing 

Ini mirip dengan Bootstrap: perkiraan di luar interval kepercayaan Saya memiliki beberapa data yang mewakili jumlah genotipe dalam suatu populasi. Saya ingin memperkirakan keragaman genetik menggunakan indeks Shannon dan juga menghasilkan interval kepercayaan menggunakan bootstrap. Namun, saya perhatikan bahwa perkiraan melalui bootstrap cenderung sangat bias dan menghasilkan interval kepercayaan yang …

11 r  confidence-interval  bootstrap  bias  diversity 

Saya sedang membaca makalah teori Doug Bates pada paket lme4 R untuk lebih memahami seluk beluk model campuran, dan menemukan hasil yang menarik yang ingin saya pahami lebih baik, tentang menggunakan kemungkinan maksimum terbatas (REML) untuk memperkirakan varian. . Dalam bagian 3.3 pada kriteria REML, ia menyatakan bahwa penggunaan REML …

11 maximum-likelihood  mixed-model  unbiased-estimator  hierarchical-bayesian  reml 

Di sini saya bertanya tentang apa yang biasanya dilakukan orang lain untuk menggunakan uji kuadrat untuk hasil pemilihan fitur dalam pembelajaran terawasi. Jika saya mengerti dengan benar, apakah mereka menguji independensi antara setiap fitur dan hasil, dan membandingkan nilai p antara tes untuk setiap fitur? Di http://en.wikipedia.org/wiki/Pearson%27s_chi-squared_test , Uji chi-squared …

11 hypothesis-testing  chi-squared  feature-selection  independence  scikit-learn 

Mengapa sangat jarang menemukan interval kepercayaan yang dilaporkan dalam makalah dari ilmu terapan? Saya bekerja sebagian besar di Ilmu Komputer, tetapi sering membaca makalah dari (Sosial) Psikologi, Sosiologi dan perencanaan Kota. Saya tidak ingat pernah melihat CI untuk median yang dilaporkan. Pada saat yang sama, ketika mempelajari interval kepercayaan dan …

11 median  confidence  reporting