Statistik dan Big Data

Saya telah membaca tentang nilai- , tingkat kesalahan tipe 1, tingkat signifikansi, perhitungan daya, ukuran efek dan perdebatan Fisher vs Neyman-Pearson. Ini membuat saya agak kewalahan. Saya minta maaf untuk dinding teks, tetapi saya merasa perlu untuk memberikan gambaran tentang pemahaman saya saat ini tentang konsep-konsep ini, sebelum saya pindah …

31 hypothesis-testing  statistical-significance  confidence-interval  p-value  effect-size 

Morey et al (2015) berpendapat bahwa interval kepercayaan menyesatkan dan ada beberapa bias terkait dengan pemahaman mereka. Antara lain, mereka menggambarkan kekeliruan presisi sebagai berikut: Kesalahan Presisi Lebar interval kepercayaan menunjukkan ketepatan pengetahuan kita tentang parameter. Interval kepercayaan sempit menunjukkan pengetahuan yang tepat, sementara kesalahan kepercayaan yang luas menunjukkan pengetahuan …

31 bayesian  confidence-interval  frequentist  precision 

Saya telah berdiskusi dengan ahli statistik pada tahun 2009 di mana dia menyatakan bahwa nilai pasti dari nilai-p tidak relevan: satu-satunya hal yang penting adalah apakah itu signifikan atau tidak. Yaitu satu hasil yang tidak bisa lebih penting dari yang lain; contoh Anda, baik berasal dari populasi yang sama atau …

31 statistical-significance  p-value  bonferroni 

Hinton dan Salakhutdinov dalam Mengurangi Dimensi Data dengan Neural Networks, Science 2006 mengusulkan PCA non-linear melalui penggunaan autoencoder yang mendalam. Saya telah mencoba membangun dan melatih autoencoder PCA dengan Tensorflow beberapa kali tetapi saya tidak pernah dapat memperoleh hasil yang lebih baik daripada PCA linier. Bagaimana saya bisa melatih autoencoder …

31 pca  python  deep-learning  tensorflow  autoencoders 

Banyak yang telah ditulis tentang pilihan warna ramah buta warna untuk peta, poligon, dan wilayah yang diarsir secara umum (lihat misalnya http://colorbrewer2.org ). Saya belum dapat menemukan rekomendasi untuk warna garis dan ketebalan garis yang bervariasi untuk grafik garis. Sasarannya adalah: mudah membedakan garis bahkan ketika mereka saling terkait garis …

31 r  data-visualization 

Saya membaca artikel yang sangat menarik oleh Penjual dan Shmueli tentang model regresi untuk data jumlah. Dekat awal (p. 944) mereka mengutip McCullaugh dan Nelder (1989) mengatakan bahwa regresi binomial negatif tidak populer dan memiliki hubungan kanonik yang bermasalah. Saya menemukan bagian yang dimaksud dan dikatakan (hlm. 374 dari M …

31 regression  modeling  negative-binomial 

Apa saja pedoman yang berguna untuk parameter pengujian (yaitu kedalaman interaksi, anak kecil, laju sampel, dll.) Menggunakan GBM? Katakanlah saya memiliki 70-100 fitur, populasi 200.000 dan saya berniat menguji kedalaman interaksi 3 dan 4. Jelas saya perlu melakukan beberapa pengujian untuk melihat kombinasi parameter apa yang terbaik di luar sampel. …

31 r  hypothesis-testing  cart  boosting 

Johansson (2011) dalam " Hail the impossible: nilai-p, bukti, dan kemungkinan " (di sini juga terkait dengan jurnal ) menyatakan bahwa nilai- yang lebih rendah sering dianggap sebagai bukti yang lebih kuat terhadap nol. Johansson menyiratkan bahwa orang akan menganggap bukti terhadap nol lebih kuat jika uji statistik mereka menghasilkan …

31 hypothesis-testing  statistical-significance  p-value  philosophical 

Dalam dataset dari dua populasi yang tidak tumpang tindih (pasien & sehat, total ) saya ingin mencari (dari variabel independen) prediktor signifikan untuk variabel dependen berkelanjutan. Ada korelasi antara prediktor. Saya tertarik untuk mencari tahu apakah salah satu prediktor terkait dengan variabel dependen "dalam kenyataan" (daripada memprediksi variabel dependen setepat …

31 regression  pca  feature-selection  stepwise-regression  underdetermined 

Apakah "pembelajaran mendalam" hanyalah istilah lain untuk pemodelan bertingkat / hierarkis? Saya jauh lebih akrab dengan yang terakhir daripada yang pertama, tetapi dari apa yang bisa saya katakan, perbedaan utama tidak dalam definisi mereka, tetapi bagaimana mereka digunakan dan dievaluasi dalam domain aplikasi mereka. Sepertinya jumlah node dalam aplikasi "pembelajaran …

31 machine-learning  multilevel-analysis  hierarchical-bayesian  deep-learning 

/ edit: Tindak lanjut lebih lanjut sekarang Anda dapat menggunakan irlba :: prcomp_irlba / edit: menindaklanjuti posting saya sendiri. irlbasekarang memiliki argumen "pusat" dan "skala", yang memungkinkan Anda menggunakannya untuk menghitung komponen prinsip, misalnya: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Saya memiliki banyak Matrixfitur yang ingin saya …

31 r  pca  dimensionality-reduction  svd  matrix-decomposition 

Katakan misalnya Anda sedang melakukan model linier, tetapi data kompleks.yyy y= x β+ ϵy=xβ+ϵ y = x \beta + \epsilon Kumpulan data saya rumit, karena dalam semua angka dalam adalah dalam bentuk ( a + b i ) . Apakah ada yang berbeda secara prosedural ketika bekerja dengan data seperti …

31 regression  anova  data-transformation  complex-numbers 

Pertanyaan ini diajukan oleh teman saya yang tidak mengerti internet. Saya tidak memiliki latar belakang statistik dan saya telah mencari di internet untuk pertanyaan ini. Pertanyaannya adalah: apakah mungkin untuk mengganti outlier dengan nilai rata-rata? jika memungkinkan, apakah ada referensi buku / jurnal untuk mendukung pernyataan ini?

31 mean  outliers  robust  winsorizing 

Prosedur pemilihan variabel berbasis data umum (misalnya, maju, mundur, bertahap, semua himpunan bagian) cenderung menghasilkan model dengan sifat yang tidak diinginkan, termasuk: Koefisien yang bias jauh dari nol. Kesalahan standar yang terlalu kecil dan interval kepercayaan yang terlalu sempit. Uji statistik dan nilai-p yang tidak memiliki makna yang diiklankan. Perkiraan …

31 modeling  feature-selection 

Dalam makalah ini , peneliti berbakat Cosma Shalizi berpendapat bahwa untuk sepenuhnya menerima pandangan Bayesian yang subjektif, kita juga harus menerima hasil yang tidak fisik bahwa panah waktu (diberikan oleh aliran entropi) harus benar-benar mundur . Ini terutama merupakan upaya untuk berdebat dengan entropi maksimum / pandangan subjektif sepenuhnya yang …

31 bayesian  entropy  maximum-entropy  philosophical