Statistik dan Big Data

Di twitter, seorang uji coba Stuart Nicholls mengkritik penelitian yang baru-baru ini diterbitkan dengan mengatakan: Selanjutnya ke kertas yang sangat menarik oleh Dal-Re mereka menandai beberapa contoh yang mempertanyakan penggunaan istilah pragmatis. Bisakah percobaan fase 3, multisite, double-blind, dikontrol plasebo, paralel-lengan, dosis acak benar-benar disebut 'pragmatis'? Artikel penelitian yang dimaksud …

10 definition  clinical-trials 

Saya tahu dari penelitian sebelumnya Va r ( A + B ) = Va r ( A ) + Va r ( B ) + 2 Co v ( A , B )VSebuahr(SEBUAH+B)=VSebuahr(SEBUAH)+VSebuahr(B)+2CHaiv(SEBUAH,B)Var(A+B) = Var(A) + Var(B) + 2 Cov (A,B) Namun, saya tidak mengerti mengapa itu terjadi. Saya dapat …

10 variance  covariance  intuition 

Biarkan menjadi sampel acak dari kerapatan(X1,X2,…,Xn)(X1,X2,…,Xn)(X_1,X_2,\ldots,X_n)fθ(x)=θxθ−110<x<1,θ>0fθ(x)=θxθ−110<x<1,θ>0f_{\theta}(x)=\theta x^{\theta-1}\mathbf1_{00 Saya mencoba menemukan UMVUE dari .θ1+θθ1+θ\frac{\theta}{1+\theta} Kepadatan bersama adalah(X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n) fθ(x1,⋯,xn)=θn(∏i=1nxi)θ−110<x1,…,xn<1=exp[(θ−1)∑i=1nlnxi+nlnθ+ln(10<x1,…,xn<1)],θ>0fθ(x1,⋯,xn)=θn(∏i=1nxi)θ−110<x1,…,xn<1=exp⁡[(θ−1)∑i=1nln⁡xi+nln⁡θ+ln⁡(10<x1,…,xn<1)],θ>0\begin{align} f_{\theta}(x_1,\cdots,x_n)&=\theta^n\left(\prod_{i=1}^n x_i\right)^{\theta-1}\mathbf1_{00 \end{align} Karena populasi pdf milik keluarga eksponensial satu-parameter, ini menunjukkan bahwa statistik yang cukup lengkap untuk \ theta adalah T (X_1, \ ldots, X_n) = \ sum_ {i = 1} ^ …

10 self-study  distributions  estimation  inference  beta-distribution 

Misalkan saya ingin mengambil sampel dari distribusi berkelanjutan . Jika saya memiliki ekspresi dalam formulirpp(x)p(x)p(x)ppp p(x)=∑i=1∞aifi(x)p(x)=∑i=1∞aifi(x)p(x) = \sum_{i=1}^\infty a_i f_i(x) di mana , dan f_i adalah distribusi yang dapat dengan mudah diambil sampelnya, maka saya dapat dengan mudah menghasilkan sampel dari p dengan:ai⩾0,∑iai=1ai⩾0,∑iai=1a_i \geqslant 0, \sum_i a_i= 1fifif_ippp Mengambil sampel …

10 simulation  monte-carlo  mixture  accept-reject 

Saya telah membaca beberapa publikasi yang mencoba membenarkan penggunaan model efek tetap dengan pernyataan di sepanjang baris "model efek tetap dipilih karena heterogenitasnya rendah". Namun, saya khawatir ini mungkin masih menjadi pendekatan yang tidak tepat untuk analisis data. Adakah alasan atau publikasi yang membahas apakah dan mengapa ini bisa menjadi …

10 references  meta-analysis  meta-analysis-fixed-effects  meta-analysis-random-effects 

Bagaimana saya bisa menghitung jumlah dispersi dalam vektor jumlah kata? Saya mencari statistik yang akan tinggi untuk dokumen A, karena berisi banyak kata berbeda yang jarang terjadi, dan rendah untuk dokumen B, karena berisi satu kata (atau beberapa kata) yang sering muncul. Lebih umum, bagaimana cara mengukur dispersi atau "menyebar" …

10 variance  natural-language  gini  dispersion  bag-of-words 

tl; dr: Dimulai dengan dataset yang dihasilkan di bawah nol, saya melakukan resampled case dengan penggantian dan melakukan tes hipotesis pada setiap dataset yang di-resampled. Tes hipotesis ini menolak nol lebih dari 5% dari waktu. Di bawah ini, simulasi yang sangat sederhana, saya menghasilkan dataset dengan , dan saya memasangkan …

10 r  bootstrap  simulation  resampling 

Pemahaman saya tentang regresi LASSO adalah bahwa koefisien regresi dipilih untuk menyelesaikan masalah minimalisasi: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Dalam praktiknya ini dilakukan dengan menggunakan pengali Lagrange, membuat masalah untuk dipecahkan minβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 Apa hubungan antara λλ\lambda …

10 optimization  lasso  regularization  lagrange-multipliers 

Ketika saya membaca situs ini sebagian besar jawaban menyarankan bahwa validasi silang harus dilakukan dalam algoritma pembelajaran mesin. Namun ketika saya membaca buku "Memahami Pembelajaran Mesin" saya melihat ada latihan yang terkadang lebih baik untuk tidak menggunakan validasi silang. Saya sangat bingung. Kapan algoritma pelatihan pada seluruh data lebih baik …

10 machine-learning  self-study  cross-validation 

Saya ingin menemukan beberapa "contoh dunia nyata" untuk mengajarkan statistik Bayesian. Statistik Bayesian memungkinkan seseorang untuk secara resmi memasukkan pengetahuan sebelumnya ke dalam analisis. Saya ingin memberi siswa beberapa contoh dunia nyata sederhana dari para peneliti yang memasukkan pengetahuan sebelumnya ke dalam analisis mereka sehingga siswa dapat lebih memahami motivasi …

10 bayesian  teaching 

Pengajaran standar mengatakan bahwa sensitivitas dan spesifisitas adalah sifat dari tes ini dan tidak tergantung pada prevalensi. Tapi bukankah ini hanya asumsi? Prinsip Harrison tentang penyakit dalam 19 ed mengatakan Telah lama dinyatakan bahwa sensitivitas dan spesifisitas merupakan parameter yang tidak tergantung pada prevalensi dari akurasi tes, dan banyak teks …

10 bayesian  epidemiology  diagnostic  sensitivity-specificity 

Saya memiliki beberapa pengamatan, dan saya ingin meniru sampel berdasarkan pengamatan ini. Di sini saya mempertimbangkan model non-parametrik, khususnya, saya menggunakan kernel smoothing untuk memperkirakan CDF dari pengamatan terbatas. Kemudian saya menggambar nilai secara acak dari CDF yang diperoleh. Berikut ini adalah kode saya, (idenya adalah mendapatkan kumulatif secara acak …

10 sampling  matlab  kernel-smoothing  density-estimation 

Secara aksiomatis, probabilitas adalah fungsi yang memberikan bilangan real P ( A ) untuk setiap peristiwa A jika memenuhi tiga asumsi mendasar (asumsi Kolmogorov):PPPP( A )P(SEBUAH)P(A)SEBUAHSEBUAHA P(A)≥0 for everyAP(A)≥0 for everyAP(A) \geq 0 \ \text{for every} A P(Ω)=1P(Ω)=1P(\Omega) = 1 If A1,A2,⋯are disjoint, thenP(⋃∞i=1Ai)=∑i=1∞P(Ai)If A1,A2,⋯are disjoint, thenP(⋃i=1∞Ai)=∑i=1∞P(Ai)\text{If} \ A_1, A_2, …

10 probability  kolmogorov-axioms 

Saya merevisi regresi linier. Buku teks oleh Greene menyatakan: Sekarang, tentu saja akan ada asumsi lain pada model regresi linier, seperti . Asumsi ini dikombinasikan dengan asumsi linearitas (yang pada dasarnya mendefinisikan ), menempatkan struktur pada model.ϵE(ϵ|X)=0E(ϵ|X)=0E(\epsilon|X)=0ϵϵ\epsilon Namun, asumsi linearitas dengan sendirinya tidak menempatkan struktur apa pun pada model kami, …

10 econometrics  linear-model  assumptions  causality  definition 

Pemahaman saya tentang apa yang merupakan taksiran dan taksiran adalah: Penaksir: Aturan untuk menghitung taksiran Taksiran: Nilai dihitung dari sekumpulan data berdasarkan penaksir Di antara kedua istilah ini, jika saya diminta untuk menunjukkan variabel acak, saya akan mengatakan perkiraan adalah variabel acak karena nilainya akan berubah secara acak berdasarkan sampel …

10 mathematical-statistics  inference  random-variable  estimators