Statistik dan Big Data

Saya melakukan pengelompokan hierarkis pada data yang telah saya kumpulkan dan diproses dari dump data reddit di Google BigQuery. Proses saya adalah sebagai berikut: Dapatkan 1000 posting terbaru di / r / politik Kumpulkan semua komentar Memproses data dan menghitung n x mmatriks data (n: pengguna / sampel, m: posting …

33 clustering  distance  unsupervised-learning  hierarchical-clustering 

Baru-baru ini saya belajar tentang menggunakan teknik bootstrap untuk menghitung kesalahan standar dan interval kepercayaan untuk estimator. Apa yang saya pelajari adalah bahwa jika data tersebut adalah IID, Anda dapat memperlakukan data sampel sebagai populasi, dan melakukan pengambilan sampel dengan penggantian dan ini akan memungkinkan Anda untuk mendapatkan beberapa simulasi …

33 time-series  bootstrap 

Dalam banyak metode statistik yang berbeda ada "asumsi normalitas". Apa itu "normalitas" dan bagaimana saya tahu jika ada normalitas?

33 distributions  normality-assumption 

Untuk waktu yang lama saya tidak mengerti mengapa "jumlah" dari dua variabel acak adalah konvolusi mereka , sedangkan jumlah fungsi kerapatan campuran dari f(x)f(x)f(x) dan g(x)g(x)g(x) adalah pf(x)+(1−p)g(x)pf(x)+(1−p)g(x)p\,f(x)+(1-p)g(x); jumlah aritmatika dan bukan konvolusi mereka. Frasa persis "jumlah dua variabel acak" muncul di google 146.000 kali, dan berbentuk bulat panjang sebagai …

33 pdf  terminology  cdf  mixture  convolution 

Saya mencoba memahami Koefisien Variasi . Ketika saya mencoba menerapkannya pada dua sampel data berikut ini, saya tidak dapat memahami bagaimana menafsirkan hasil. Misalkan sampel 1 adalah dan sampel 2 adalah . Di sini sampel 2 sampel 1 seperti yang Anda lihat.0,5,7,12,11,170,5,7,12,11,17{0, 5, 7, 12, 11, 17}10,15,17,22,21,2710,15,17,22,21,27{10 ,15 ,17 ,22 …

33 descriptive-statistics  coefficient-of-variation 

Saya mendapat pertanyaan aneh ketika saya bereksperimen dengan beberapa optimasi cembung. Pertanyaannya adalah: Misalkan saya secara acak (mengatakan distribusi normal standar) menghasilkan matriks simetris, (misalnya, saya menghasilkan matriks segitiga atas, dan mengisi bagian bawah untuk memastikan itu adalah simetris), apa kesempatan itu adalah matriks definit positif ? Apakah ada cara …

32 probability  matrix  random-generation  eigenvalues  random-matrix 

Wikipedia mengatakan - Dalam teori probabilitas, teorema limit pusat (CLT) menetapkan bahwa, dalam sebagian besar situasi , ketika variabel acak independen ditambahkan, jumlah normalnya yang normal cenderung mengarah ke distribusi normal (secara informal merupakan "kurva lonceng") bahkan jika variabel asli sendiri tidak terdistribusi normal ... Ketika dikatakan "dalam kebanyakan situasi", …

32 probability  mathematical-statistics  normal-distribution  central-limit-theorem 

Dalam kursus statistik dasar tingkat bawah, siswa (biasanya?) Diajari pengujian hipotesis untuk rata-rata populasi. Mengapa fokusnya adalah pada rata-rata dan bukan pada median? Dugaan saya adalah bahwa lebih mudah untuk menguji mean karena teorema batas pusat, tetapi saya ingin membaca beberapa penjelasan yang berpendidikan.

32 hypothesis-testing  mean  inference  median 

Beberapa makalah metodologi (misalnya Egger et al 1997a, 1997b) membahas bias publikasi seperti yang diungkapkan oleh meta-analisis, menggunakan plot corong seperti yang di bawah ini. Makalah 1997b selanjutnya mengatakan bahwa "jika bias publikasi hadir, diharapkan, dari studi yang dipublikasikan, yang terbesar akan melaporkan efek terkecil." Tapi kenapa begitu? Tampaknya bagi …

32 meta-analysis  publication-bias 

Saya membaca di https://en.wikipedia.org/wiki/Generative_adversarial_networks : [Jaringan permusuhan generatif] diperkenalkan oleh Ian Goodfellow et al pada tahun 2014. tetapi Jurgen Schmidhuber mengklaim telah melakukan pekerjaan serupa sebelumnya dalam arah itu (misalnya, ada beberapa perdebatan di NIPS 2016 selama tutorial jaringan permusuhan generatif: https://channel9.msdn.com/Events/Neural-Information-Processing-Systems- Conference / Neural-Information-Processing-Systems-Conference-NIPS-2016 / Generative-Adversarial-Networks lihat 1h03 mnt). …

32 neural-networks  history  gan 

Saya membantu anak laki-laki saya, saat ini di sekolah menengah, memahami statistik, dan saya sedang mempertimbangkan untuk memulai dengan beberapa contoh sederhana tanpa mengabaikan beberapa pandangan sekilas terhadap teori. Tujuan saya adalah memberi mereka pendekatan yang paling intuitif namun konstruktif secara instrumental untuk mempelajari statistik dari awal, untuk merangsang minat …

32 probability  hypothesis-testing  bayesian  frequentist  teaching 

Karena seseorang dapat menghitung interval kepercayaan untuk nilai-p dan karena kebalikan dari estimasi interval adalah estimasi titik: Apakah nilai-p merupakan estimasi titik?

32 confidence-interval  estimation  p-value  estimators  point-estimation 

Saya membaca tentang entropi dan mengalami kesulitan mengkonseptualisasikan apa artinya dalam kasus berkelanjutan. Halaman wiki menyatakan sebagai berikut: Distribusi probabilitas peristiwa, ditambah dengan jumlah informasi setiap peristiwa, membentuk variabel acak yang nilainya diharapkan adalah jumlah rata-rata informasi, atau entropi, yang dihasilkan oleh distribusi ini. Jadi jika saya menghitung entropi yang …

32 entropy 

Ketika melakukan regresi, misalnya, dua parameter hiper untuk memilih seringkali adalah kapasitas fungsi (mis. Eksponen terbesar polinomial), dan jumlah regularisasi. Yang saya bingung, mengapa tidak hanya memilih fungsi kapasitas rendah, dan kemudian mengabaikan regularisasi? Dengan begitu, itu tidak akan overfit. Jika saya memiliki fungsi kapasitas tinggi bersama dengan regularisasi, bukankah …

32 regression  machine-learning  optimization  regularization  polynomial 

Dalam pemahaman saya, variabel yang sangat berkorelasi tidak akan menyebabkan masalah multi-collinearity dalam model hutan acak (Harap perbaiki saya jika saya salah). Namun, di sisi lain, jika saya memiliki terlalu banyak variabel yang berisi informasi serupa, akankah bobot model terlalu banyak pada set ini daripada yang lain? Misalnya, ada dua …

32 random-forest  multicollinearity  ensemble