Statistik dan Big Data

Dalam percakapan rata-rata (median?) Tentang statistik, Anda akan sering mendapati diri Anda membahas metode analisis ini atau itu. Dalam pengalaman saya, desain studi yang cermat dengan pemikiran khusus berkaitan dengan analisis statistik sering diabaikan (bekerja dalam biologi / ekologi, ini tampaknya menjadi kejadian yang berlaku). Para ahli statistik sering menemukan …

11 experiment-design 

Saya memiliki data rahasia silang dalam tabel 2 x 2 x 6. Mari kita sebut dimensi response, Adan B. Saya memasukkan regresi logistik ke data dengan model response ~ A * B. Analisis penyimpangan model itu mengatakan bahwa kedua istilah dan interaksinya adalah signifikan. Namun, melihat proporsi data, sepertinya hanya …

11 categorical-data  logistic  multiple-comparisons  chi-squared 

Apakah ada cara yang stabil secara numerik untuk menghitung nilai distribusi beta untuk alpha integer besar, beta (misal alpha, beta> 1000000)? Sebenarnya, saya hanya perlu interval kepercayaan 99% di sekitar mode, jika itu entah bagaimana membuat masalah lebih mudah. Tambahkan : Maaf, pertanyaan saya tidak sejelas yang saya kira. Yang …

11 confidence-interval  algorithms  beta-distribution 

Dalam " Jaringan keyakinan mendalam konvolusional untuk pembelajaran terwakili terwakili terwakili " oleh Lee et. al. ( PDF ) DBN konvolusional diusulkan. Juga metode dievaluasi untuk klasifikasi gambar. Ini terdengar logis, karena ada fitur gambar lokal alami, seperti sudut dan tepi kecil dll. Dalam " Pembelajaran fitur tanpa pengawasan untuk …

11 classification  unsupervised-learning  intuition  deep-belief-networks 

Maaf untuk latar belakang verbose untuk pertanyaan ini: Kadang-kadang dalam penyelidikan perilaku hewan, seorang peneliti tertarik pada jumlah waktu yang dihabiskan subjek dalam zona yang berbeda, yang telah ditentukan sebelumnya dalam peralatan uji. Saya sering melihat data seperti ini dianalisis menggunakan ANOVA; namun, saya tidak pernah sepenuhnya yakin akan validitas …

11 anova 

Saya memiliki empat model yang bersaing yang saya gunakan untuk memprediksi variabel hasil biner (katakanlah, status pekerjaan setelah lulus, 1 = bekerja, 0 = tidak bekerja) untuk n mata pelajaran. Metrik alami kinerja model adalah hit rate yang merupakan persentase dari prediksi yang benar untuk masing-masing model. Sepertinya saya bahwa …

11 anova  chi-squared  generalized-linear-model 

Saya telah melihat ke dalam kerangka teori untuk pemilihan metode (catatan: bukan pemilihan model) dan telah menemukan sangat sedikit kerja sistematis, bermotivasi matematis. Dengan 'pemilihan metode', maksud saya kerangka kerja untuk membedakan metode yang sesuai (atau lebih baik, optimal) sehubungan dengan masalah, atau jenis masalah. Apa yang saya temukan adalah …

11 machine-learning  methodology  theory 

Joshua Epstein menulis makalah berjudul "Mengapa Model?" tersedia di http://www.santafe.edu/media/workingpapers/08-09-040.pdf yang memberikan 16 alasan: Jelaskan (sangat berbeda dari yang diperkirakan) Panduan pengumpulan data Menerangi dinamika inti Sarankan analogi dinamis Temukan pertanyaan baru Promosikan kebiasaan berpikir ilmiah Hasil batas (braket) ke rentang yang masuk akal Menerangkan ketidakpastian inti. Menawarkan opsi krisis …

11 modeling 

Program debugging MCMC terkenal sulit. Kesulitan muncul karena beberapa masalah beberapa di antaranya adalah: (A) Sifat siklik dari algoritma Kami secara iteratif menggambar parameter yang tergantung pada semua parameter lainnya. Dengan demikian, jika suatu implementasi tidak berfungsi dengan benar maka sulit untuk mengisolasi bug karena masalahnya dapat berada di mana …

11 mcmc 

Skema standar variabel instrumental dalam hal kausalitas ( ->) adalah: Z -> X -> Y Di mana Z adalah instrumen, X merupakan variabel endogen, dan Y merupakan respons. Apakah mungkin, bahwa hubungan berikut: Z <- X ->Y Z <-> X ->Y juga valid? Sementara korelasi antara instrumen dan variabel puas, …

11 causality  instrumental-variables  endogeneity 

Jadi apa yang saya baca tentang nabi Facebook adalah bahwa ia pada dasarnya memecah seri waktu menjadi tren dan musiman. Misalnya, model aditif akan ditulis sebagai: y( t ) = g( t ) + s ( t ) + h ( t ) + ety(t)=g(t)+s(t)+h(t)+et y(t) = g(t) + s(t) …

11 regression  machine-learning  time-series  prophet 

Dengan asumsi saya memiliki dua variabel acak non-independen dan saya ingin mengurangi kovarians di antara mereka sebanyak mungkin tanpa kehilangan terlalu banyak "sinyal", apakah itu berarti memusatkan bantuan? Saya membaca di suatu tempat bahwa pemusatan berarti mengurangi korelasi dengan faktor yang signifikan, jadi saya pikir itu harus melakukan hal yang …

11 correlation  covariance  random-vector 

Diberikan variabel acak , dengan distribusi probabilitas , matriks korelasi adalah semi-pasti positif, yaitu nilai eigennya positif atau nol.nnnXiXiX_iP(X1,…,Xn)P(X1,…,Xn)P(X_1,\ldots,X_n)Cij=E[XiXj]−E[Xi]E[Xj]Cij=E[XiXj]−E[Xi]E[Xj]C_{ij}=E[X_i X_j]-E[X_i]E[X_j] Saya tertarik pada kondisi pada yang diperlukan dan / atau cukup untuk untuk memiliki nilai eigen nol. Misalnya, syarat yang memadai adalah bahwa variabel acak tidak independen: untuk beberapa bilangan …

11 correlation 

Pertanyaan saya agak semantik. Ketika suatu metode secara rutin menghasilkan nilai-p tinggi itu disebut konservatif. Apakah Anda akan memanggil yang sebaliknya, yaitu metode dengan tingkat kesalahan tipe II yang tinggi liberal?

11 hypothesis-testing  statistical-significance  p-value  terminology  type-i-and-ii-errors 

Seperti yang saya pahami, k-NN adalah algoritma pelajar yang malas dan tidak membutuhkan fase pelatihan. Jadi mengapa kita perlu menggunakan .fit()sklearn dan apa yang terjadi ketika kita menggunakannya?

11 classification  scikit-learn  k-nearest-neighbour