Statistik dan Big Data

Asumsikan situasi berikut: kami memiliki sejumlah besar (misalnya 20) dengan ukuran kelompok kecil (misalnya n = 3). Saya perhatikan bahwa jika saya menghasilkan nilai dari distribusi seragam, residu akan terlihat normal meskipun distribusi kesalahan seragam. Kode R berikut menunjukkan perilaku ini: n.group = 200 n.per.group = 3 x <- runif(n.group …

12 anova  normal-distribution  small-sample 

Saya sedang membaca posting blog oleh ahli statistik William Briggs, dan klaim berikut ini membuat saya sedikit tertarik. Apa yang Anda dapatkan dari itu? Apa itu interval kepercayaan? Ini adalah persamaan, tentu saja, yang akan memberi Anda interval untuk data Anda. Ini dimaksudkan untuk memberikan ukuran ketidakpastian estimasi parameter. Sekarang, …

12 confidence-interval  frequentist  philosophical 

Saya telah membaca bahwa regresi ridge dapat dicapai dengan hanya menambahkan baris data ke matriks data asli, di mana setiap baris dibangun menggunakan 0 untuk variabel dependen dan akar kuadrat dari atau nol untuk variabel independen. Satu baris tambahan kemudian ditambahkan untuk setiap variabel independen.kkk Saya bertanya-tanya apakah mungkin untuk …

12 logistic  generalized-linear-model  ridge-regression 

Saya mengalami kesulitan dalam memahami situasi di mana pendekatan MCMC sebenarnya berguna. Saya akan melalui contoh mainan dari buku Kruschke "Melakukan Analisis Data Bayesian: Tutorial dengan R dan BUGS". Apa yang saya pahami sejauh ini adalah bahwa kita memerlukan target distribusi yang proporsional dengan untuk memiliki sampel . Namun, bagi …

12 mcmc 

Misalkan variabel acak mengikuti distribusi Seragam kontinu dengan parameter 0 dan 10 (yaitu )U ∼ U ( 0 , 10 )UUUU∼U(0,10)U∼U(0,10)U \sim \rm{U}(0,10) Sekarang mari kita menandakan A peristiwa bahwa = 5 dan B peristiwa bahwa sama dengan atau 6. Menurut pemahaman saya, kedua peristiwa memiliki probabilitas nol untuk terjadi.U …

12 conditional-probability  continuous-data  uniform 

Dalam paparan kelas saya untuk data mining, metode ketidaksepakatan diperkenalkan sebagai cara menilai kinerja model. Namun, ketika saya mengambil kelas pertama saya pada model linear, ini tidak diperkenalkan sebagai sarana validasi atau penilaian model. Penelitian online saya juga tidak menunjukkan adanya persimpangan. Mengapa metode ketidaksepakatan tidak digunakan dalam statistik klasik?

12 regression  validation  model-evaluation  out-of-sample 

Bahman Bahmani et al. memperkenalkan k-means ||, yang merupakan versi lebih cepat dari k-means ++. Algoritma ini diambil dari halaman 4 makalah mereka , Bahmani, B., Moseley, B., Vattani, A., Kumar, R., & Vassilvitskii, S. (2012). K-means yang dapat diskalakan ++. Prosiding Endowment VLDB , 5 (7), 622-633. Sayangnya saya …

12 clustering  k-means 

Apakah ada perbedaan antara istilah "jaringan saraf" dan "perceptron"?

12 machine-learning  neural-networks  terminology  perceptron 

Pertanyaannya: Bootstrapping lebih unggul daripada jackknifing; Namun, saya bertanya-tanya apakah ada contoh di mana jackknifing adalah satu-satunya atau setidaknya pilihan yang layak untuk mengkarakterisasi ketidakpastian dari estimasi parameter. Juga, dalam situasi praktis bagaimana bias / tidak akurat jackknifing relatif terhadap bootstrap, dan bisakah hasil jackknife memberikan wawasan awal sebelum bootstrap …

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

Saya tertarik dengan temuan makalah ini dari 2009: Mengapa wanita (yang terbaik) begitu pandai catur? Tingkat partisipasi dan perbedaan gender dalam domain intelektual Makalah ini mencoba menjelaskan mengapa pemain catur pria terbaik tampak jauh lebih baik daripada pemain wanita terbaik (wanita hanya membuat 2% dari 1.000 pemain terbaik dunia). Secara …

12 population  extreme-value 

Saya telah menemukan sejumlah pertanyaan praktis ketika memodelkan menghitung data dari penelitian eksperimental menggunakan eksperimen dalam subjek. Saya jelaskan secara singkat eksperimen, data, dan apa yang telah saya lakukan sejauh ini, diikuti oleh pertanyaan saya. Empat film berbeda diperlihatkan kepada sampel responden secara berurutan. Setelah setiap film wawancara dilakukan dimana …

12 generalized-linear-model  negative-binomial  glmm  poisson-regression  overdispersion 

TL; DR: lme4optimasi tampaknya linier dalam jumlah parameter model secara default, dan jauh lebih lambat daripada glmmodel yang setara dengan variabel dummy untuk grup. Apakah ada yang bisa saya lakukan untuk mempercepatnya? Saya mencoba menyesuaikan model logit hierarkis yang cukup besar (~ baris 50k, 100 kolom, 50 grup). Memasukkan model …

12 r  mixed-model  optimization  lme4-nlme  numerics 

Bagaimana saya bisa memecahkan masalah ini? Saya membutuhkan persamaan perantara. Mungkin jawabannya adalah .−tf(x)−tf(x)-tf(x) ddt[∫∞txf(x)dx]ddt[∫t∞xf(x)dx] \frac{d}{dt} \left [\int_t^\infty xf(x)\,dx \right ] f(x)f(x)f(x) adalah fungsi kerapatan probabilitas. Dengan kata lain, dan \ lim \ limit_ {x \ to \ infty} F (x) = 1limx→∞f(x)=0limx→∞f(x)=0\lim\limits_{x \to \infty} f(x) = 0limx→∞F(x)=1limx→∞F(x)=1\lim\limits_{x \to \infty} …

12 probability  distributions  self-study  mathematical-statistics 

Dalam literatur, kedua istilah ini sering digunakan secara sinonim atau terjalin. Sekarang saya mencoba untuk menemukan perbedaan yang jelas antara kedua istilah. Dari sudut pandang saya, hipotesis biasanya dinyatakan melalui model. Jadi, bahkan jika kita menguji hipotesis nol vs alternatif, dari perspektif saya, kami melakukan pemilihan model. Bisakah seseorang memberi …

12 hypothesis-testing  model-selection  regression-strategies 

Saya sering menggunakan tingkat kepercayaan 90%, menerima bahwa ini memiliki tingkat ketidakpastian yang lebih besar daripada 95% atau 99%. Tetapi apakah ada pedoman tentang cara memilih tingkat kepercayaan yang tepat? Atau pedoman untuk tingkat kepercayaan yang digunakan di berbagai bidang? Juga, dalam menafsirkan dan menyajikan tingkat kepercayaan, apakah ada panduan …

12 statistical-significance  confidence-interval  confidence  presentation