Statistik dan Big Data

Berikut adalah kutipan dari buku "Pengenalan Pola dan Pembelajaran Mesin" Bishop, bagian 12.2.4 "Analisis Faktor": Menurut bagian disorot, analisis faktor menangkap kovarians antara variabel dalam matriks WWW . Saya bertanya-tanya BAGAIMANA ? Inilah bagaimana saya memahaminya. Say xxx adalah variabel ppp dimensi yang diamati, WWW adalah matriks pemuatan faktor, dan …

37 pca  factor-analysis  geometry 

Hari ini, di Cross Validated Journal Club (mengapa Anda tidak ada di sana?), @Mbq bertanya: Apakah Anda pikir kami (ilmuwan data modern) tahu apa arti pentingnya? Dan bagaimana hubungannya dengan kepercayaan kita pada hasil kita? @Michelle menjawab karena beberapa (termasuk saya) biasanya melakukan: Saya menemukan konsep signifikansi (berdasarkan nilai-p) kurang …

37 hypothesis-testing  p-value  large-data 

Jaringan saraf sering diperlakukan sebagai "kotak hitam" karena strukturnya yang kompleks. Ini tidak ideal, karena sering bermanfaat untuk memiliki pemahaman intuitif tentang bagaimana model bekerja secara internal. Apa metode memvisualisasikan bagaimana jaringan saraf yang terlatih bekerja? Atau, bagaimana kita dapat mengekstrak deskripsi jaringan yang mudah dicerna (mis. Simpul tersembunyi ini …

37 data-visualization  neural-networks 

Saya mencari beberapa ketidaksetaraan probabilitas untuk jumlah variabel acak yang tidak terikat. Saya akan sangat menghargai jika ada yang bisa memberikan saya beberapa pemikiran. Masalah saya adalah untuk menemukan batas atas eksponensial atas probabilitas bahwa jumlah variabel acak iid tidak terikat, yang sebenarnya merupakan perkalian dua iid Gaussian, melebihi beberapa …

37 probability  mathematical-statistics  probability-inequalities  mgf 

Ketika melakukan penelitian di bidang Ekonomi, orang sering perlu memverifikasi kesimpulan teoritis tentang data nyata. Apa sumber data yang dapat diandalkan untuk digunakan dan dikutip? Saya terutama tertarik pada sumber-sumber yang menyediakan berbagai data statistik seperti PDB, populasi, IHK, PPI dll. EDIT: Berikut ini kumpulan tautan yang muncul di utas …

37 references 

Saya dapat melihat bahwa ada banyak perbedaan formal antara ukuran jarak Kullback-Leibler vs Kolmogorov-Smirnov. Namun, keduanya digunakan untuk mengukur jarak antar distribusi. Apakah ada situasi khusus di mana satu harus digunakan dan bukan yang lain? Apa alasan untuk melakukannya?

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

Saya memiliki kursus Pembelajaran Mesin semester ini dan profesor meminta kami untuk menemukan masalah dunia nyata dan menyelesaikannya dengan salah satu metode pembelajaran mesin yang diperkenalkan di kelas, seperti: Pohon Keputusan Jaringan Saraf Tiruan Mendukung Mesin Vektor Pembelajaran Berbasis Instans ( kNN , LWL ) Jaringan Bayesian Pembelajaran penguatan Saya …

37 machine-learning 

Saya punya 2 pertanyaan sederhana tentang regresi linier: Kapan disarankan untuk membakukan variabel penjelas? Setelah estimasi dilakukan dengan nilai-nilai terstandarisasi, bagaimana seseorang dapat memprediksi dengan nilai-nilai baru (bagaimana seseorang harus membuat standar nilai-nilai baru)? Beberapa referensi akan sangat membantu.

37 regression  predictive-models  references  standardization  predictor 

Misalkan adalah variabel acak dengan pdf . Kemudian variabel acak memiliki pdfXXXfX(x)fX(x)f_X(x)Y=X2Y=X2Y=X^2 fY(y)={12y√(fX(y√)+fX(−y√))0y≥0y<0fY(y)={12y(fX(y)+fX(−y))y≥00y<0f_Y(y)=\begin{cases}\frac{1}{2\sqrt{y}}\left(f_X(\sqrt{y})+f_X(-\sqrt{y})\right) & y \ge 0 \\ 0 & y \lt 0\end{cases} Saya mengerti kalkulus di balik ini. Tapi saya mencoba memikirkan cara untuk menjelaskannya kepada seseorang yang tidak tahu kalkulus. Secara khusus, saya mencoba menjelaskan mengapa faktor muncul …

37 random-variable  pdf  intuition 

Saya berharap bahwa seseorang dapat menjelaskan, dalam istilah awam, apa fungsi karakteristik dan bagaimana fungsi itu digunakan dalam praktik. Saya sudah membaca bahwa itu adalah transformasi Fourier dari pdf, jadi saya kira saya tahu apa itu, tapi saya masih tidak mengerti tujuannya. Jika seseorang dapat memberikan deskripsi intuitif tentang tujuannya …

37 probability  mathematical-statistics  characteristic-function 

Sebagai orang luar, tampaknya ada dua pandangan yang saling bersaing tentang bagaimana seseorang harus melakukan inferensi statistik. Apakah dua metode yang berbeda keduanya dianggap valid oleh ahli statistik yang bekerja? Apakah memilih satu dianggap lebih sebagai pertanyaan filosofis? Atau apakah situasi saat ini dianggap bermasalah dan upaya dilakukan untuk menyatukan …

37 bayesian  frequentist 

Ada beberapa pertanyaan tentang buku teks statistik , seperti pertanyaan Buku teks statistik gratis . Namun, saya mencari buku teks yang Open Source, misalnya, memiliki lisensi Creative Commons . Alasannya adalah karena materi dalam domain lain, Anda masih ingin memasukkan beberapa teks tentang statistik dasar. Dalam hal ini, akan menarik …

37 references  open-source 

Seperti yang dinyatakan dalam pertanyaan - Apakah mungkin untuk membuktikan hipotesis nol? Dari pemahaman hipotesis saya yang terbatas, jawabannya adalah tidak, tetapi saya tidak dapat memberikan penjelasan yang tepat untuk itu. Apakah pertanyaannya memiliki jawaban pasti?

37 hypothesis-testing  proof  equivalence 

Dalam semua konteks, saya akrab dengan validasi silang. Ini hanya digunakan dengan tujuan meningkatkan akurasi prediksi. Bisakah logika validasi silang diperluas dalam memperkirakan hubungan yang tidak memihak antar variabel? Sementara makalah ini oleh Richard Berk menunjukkan penggunaan sampel tahan untuk pemilihan parameter dalam model regresi "final" (dan menunjukkan mengapa pemilihan …

37 cross-validation  causality 

Saya telah membangun regresi logistik di mana variabel hasil sedang disembuhkan setelah menerima pengobatan ( Curevs No Cure). Semua pasien dalam penelitian ini menerima perawatan. Saya tertarik melihat apakah memiliki diabetes terkait dengan hasil ini. Dalam R, output regresi logistik saya terlihat sebagai berikut: Call: glm(formula = Cure ~ Diabetes, …

37 r  hypothesis-testing  logistic  generalized-linear-model  odds-ratio