Statistik dan Big Data

Kita semua akrab dengan penelitian observasional yang berupaya membangun hubungan sebab akibat antara prediktor X yang tidak diacak dan hasil dengan memasukkan setiap perancu potensial yang dapat dibayangkan dalam model regresi berganda. Dengan demikian "mengendalikan" semua pembaur, argumen berjalan, kami mengisolasi efek dari penaksir bunga. Saya mengembangkan rasa tidak nyaman …

45 multiple-regression  ancova  observational-study 

Pertanyaan utama saya adalah bagaimana menginterpretasikan output (koefisien, F, P) saat melakukan ANOVA Tipe I (berurutan)? Masalah penelitian spesifik saya sedikit lebih kompleks, jadi saya akan memecah contoh saya menjadi beberapa bagian. Pertama, jika saya tertarik pada efek kepadatan laba-laba (X1) pada pertumbuhan tanaman (Y1) dan saya menanam bibit di …

45 r  hypothesis-testing  anova  manova  sums-of-squares 

Ada banyak cara untuk mengukur seberapa mirip dua distribusi probabilitas. Di antara metode yang populer (di lingkaran yang berbeda) adalah: jarak Kolmogorov: jarak antara fungsi distribusi; jarak Kantorovich-Rubinstein: perbedaan maksimum antara ekspektasi dengan dua distribusi fungsi dengan konstanta Lipschitz , yang juga ternyata merupakan jarak antara fungsi distribusi;111L1L1L^1 jarak dibatasi-Lipschitz: …

45 distributions  probability  hypothesis-testing  mathematical-statistics 

Pertanyaan ini telah membekas di benak saya selama lebih dari sebulan. Amstat News edisi Februari 2015 memuat artikel oleh Profesor Berkeley Mark van der Laan yang memarahi orang-orang karena menggunakan model yang tidak tepat. Dia menyatakan bahwa dengan menggunakan model, statistik lebih merupakan seni daripada sains. Menurutnya, kita selalu dapat …

45 machine-learning  maximum-likelihood  modeling  nonparametric  parametric 

Saya telah ditanya beberapa kali pertanyaan: Apa itu Big-Data? Baik oleh siswa dan kerabat saya yang mengambil buzz di sekitar statistik dan ML. Saya menemukan posting CV ini . Dan saya merasa saya setuju dengan satu-satunya jawaban di sana. The halaman Wikipedia juga memiliki beberapa komentar tentang itu, tapi saya …

44 large-data 

Saya bertanya-tanya apakah kebalikan dari P (X = 1) mewakili sesuatu yang khusus?

44 probability 

Saya mencoba untuk memahami bagian konvolusi dari jaringan saraf convolutional. Melihat gambar berikut: Saya tidak memiliki masalah memahami lapisan konvolusi pertama di mana kami memiliki 4 kernel yang berbeda (ukuran ), yang kami gabungkan dengan gambar input untuk mendapatkan 4 peta fitur.k×kk×kk \times k Yang tidak saya mengerti adalah lapisan …

44 machine-learning  neural-networks  deep-learning  conv-neural-network 

Uji statistik tradisional, seperti dua uji-t sampel, fokus pada upaya menghilangkan hipotesis bahwa tidak ada perbedaan antara fungsi dua sampel independen. Kemudian, kita memilih tingkat kepercayaan dan mengatakan bahwa jika perbedaan rata-rata di atas tingkat 95%, kita dapat menolak hipotesis nol. Jika tidak, kami "tidak dapat menolak hipotesis nol". Ini …

44 hypothesis-testing  statistical-significance  confidence-interval  equivalence  tost 

Ini adalah favorit saya Contoh ini berada dalam nada humor (penghargaan diberikan kepada mantan profesor saya, Steven Gortmaker), tetapi saya juga tertarik pada grafik yang Anda rasa dengan indah menangkap dan mengomunikasikan wawasan atau metode statistik, bersama dengan ide-ide Anda yang hampir sama. Satu entri per jawaban. Tentu saja, pertanyaan …

44 data-visualization 

Saya membaca banyak makalah akademis evolusi / ekologis, kadang-kadang dengan tujuan khusus untuk melihat bagaimana statistik digunakan 'di dunia nyata' di luar buku teks. Saya biasanya mengambil statistik dalam makalah sebagai Injil dan menggunakan makalah untuk membantu dalam pembelajaran statistik saya. Lagi pula, jika sebuah makalah telah menghabiskan waktu bertahun-tahun …

44 publication-bias  academia 

Kami tahu jawaban untuk dua variabel independen: Var(XY)=E(X2Y2)−(E(XY))2=Var(X)Var(Y)+Var(X)(E(Y))2+Var(Y)(E(X))2Var(XY)=E(X2Y2)−(E(XY))2=Var(X)Var(Y)+Var(X)(E(Y))2+Var(Y)(E(X))2 {\rm Var}(XY) = E(X^2Y^2) − (E(XY))^2={\rm Var}(X){\rm Var}(Y)+{\rm Var}(X)(E(Y))^2+{\rm Var}(Y)(E(X))^2 Namun, jika kita mengambil produk lebih dari dua variabel, , apa jawabannya dalam hal varian dan nilai yang diharapkan dari masing-masing variabel?Var(X1X2⋯Xn)Var(X1X2⋯Xn){\rm Var}(X_1X_2 \cdots X_n)

44 variance  random-variable  independence 

Baru-baru ini saya belajar tentang metode Fisher untuk menggabungkan nilai-p. Ini didasarkan pada fakta bahwa nilai-p di bawah nol mengikuti distribusi yang seragam, dan bahwa yang menurut saya jenius. Tetapi pertanyaan saya adalah mengapa pergi dengan cara berbelit-belit ini? dan mengapa tidak (apa yang salah dengan) hanya menggunakan nilai rata-rata …

44 hypothesis-testing  p-value  multiple-comparisons  central-limit-theorem  combining-p-values 

Statistik Kappa ( ) diperkenalkan pada tahun 1960 oleh Cohen [1] untuk mengukur kesepakatan antara dua penilai. Perbedaannya, bagaimanapun, telah menjadi sumber kontradiksi untuk beberapa waktu.κκ\kappa Pertanyaan saya adalah tentang perhitungan varians mana yang terbaik untuk digunakan dengan sampel besar. Saya cenderung percaya bahwa yang diuji dan diverifikasi oleh Fleiss …

44 estimation  variance  reliability  cohens-kappa 

Jika bunga hanya memperkirakan parameter model (estimasi pointwise dan / atau interval) dan informasi sebelumnya tidak dapat diandalkan, lemah, (saya tahu ini agak kabur tetapi saya mencoba untuk membangun skenario di mana pilihan suatu sebelumnya sulit) ... Mengapa seseorang memilih untuk menggunakan pendekatan Bayesian dengan prior yang tidak tepat 'bukan …

44 bayesian  inference  prior  likelihood  information 

Apa saja keberatan praktis untuk penggunaan metode statistik Bayesian dalam konteks apa pun? Tidak, saya tidak bermaksud peduli tentang pilihan sebelumnya. Saya akan senang jika ini tidak mendapat jawaban.

44 bayesian