Statistik dan Big Data

Secara kasar, nilai-p memberikan probabilitas hasil yang diamati dari eksperimen yang diberikan hipotesis (model). Dengan probabilitas ini (nilai-p) kami ingin menilai hipotesis kami (seberapa besar kemungkinannya). Tetapi bukankah lebih alami untuk menghitung probabilitas hipotesis mengingat hasil yang diamati? Lebih detail. Kami punya koin. Kami membalikkannya 20 kali dan kami mendapatkan …

43 likelihood  p-value 

Saya belajar sendiri tentang penguatan pembelajaran, dan mencoba memahami konsep diskon hadiah. Jadi hadiah itu diperlukan untuk memberi tahu sistem pasangan tindakan negara mana yang baik, dan mana yang buruk. Tapi yang tidak saya mengerti adalah mengapa hadiah diskon diperlukan. Mengapa harus menjadi masalah apakah keadaan yang baik tercapai segera …

43 machine-learning  reinforcement-learning 

Saya baru-baru ini menemukan identitas ini: E[E(Y|X,Z)|X]=E[Y|X]E[E(Y|X,Z)|X]=E[Y|X]E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right] Saya tentu saja akrab dengan versi sederhana dari aturan itu, yaitu bahwa tetapi saya tidak dapat menemukan pembenaran untuk generalisasi.E[E(Y|X)]=E(Y)E[E(Y|X)]=E(Y)E \left[ E \left(Y|X \right) \right]=E \left(Y\right) Saya akan berterima kasih jika seseorang …

43 self-study  conditional-probability  conditional-expectation 

Saat ini saya sedang menulis makalah dengan beberapa analisis regresi berganda. Sementara memvisualisasikan regresi linear univariat mudah melalui plot pencar, saya bertanya-tanya apakah ada cara yang baik untuk memvisualisasikan beberapa regresi linier? Saat ini saya hanya merencanakan plot pencar seperti variabel dependen vs. variabel independen 1, kemudian vs variabel independen …

43 regression  data-visualization  multiple-regression 

Ok, ini pertanyaan yang membuat saya terjaga di malam hari. Dapatkah prosedur bootstrap diartikan sebagai mendekati beberapa prosedur Bayesian (kecuali untuk bootstrap Bayesian)? Saya sangat suka "interpretasi" Bayes tentang statistik yang saya temukan dengan baik koheren dan mudah dimengerti. Namun, saya juga memiliki kelemahan untuk prosedur bootstrap yang sangat sederhana, …

43 bayesian  bootstrap 

Ketika saya membaca "rata-rata bergerak" dalam kaitannya dengan rangkaian waktu, saya pikir sesuatu seperti , atau mungkin bobot rata-rata seperti . (Saya menyadari ini sebenarnya adalah model AR (3), tetapi inilah yang membuat otak saya melompat.) Mengapa MA (q) memodelkan rumus istilah kesalahan, atau "inovasi"? Apa yang harus dilakukan dengan …

43 time-series  arima  terminology  moving-average 

Pertanyaan saya menyangkut upaya membenarkan metode yang banyak digunakan, yaitu mengambil nilai yang diharapkan dari Taylor Series. Asumsikan kita memiliki variabel acak dengan mean positif dan varians . Selain itu, kami memiliki fungsi, katakanlah, .XXXμμ\muσ2σ2\sigma^2log(x)log⁡(x)\log(x) Melakukan ekspansi Taylor dari sekitar rata-rata, kita mendapatkan mana, seperti biasa, adalah st.logXlog⁡X\log XlogX=logμ+X−μμ−12(X−μ)2μ2+13(X−μ)3ξ3X,log⁡X=log⁡μ+X−μμ−12(X−μ)2μ2+13(X−μ)3ξX3, \log …

43 self-study  mathematical-statistics  expected-value 

Saya baru dalam penambangan data dan saya mencoba untuk melatih pohon keputusan terhadap kumpulan data yang sangat tidak seimbang. Namun, saya mengalami masalah dengan akurasi prediksi yang buruk. Data terdiri dari siswa yang belajar kursus, dan variabel kelas adalah status kursus yang memiliki dua nilai - Ditarik atau Lancar. Usia …

43 classification  cart  unbalanced-classes  accuracy 

Regularisasi menggunakan metode seperti Ridge, Lasso, ElasticNet cukup umum untuk regresi linier. Saya ingin tahu yang berikut: Apakah metode ini berlaku untuk regresi logistik? Jika demikian, apakah ada perbedaan dalam cara mereka perlu digunakan untuk regresi logistik? Jika metode ini tidak dapat diterapkan, bagaimana seseorang mengatur regresi logistik?

42 regression  logistic  regularization 

Apa perbedaan utama antara estimasi kemungkinan maksimum (MLE) vs estimasi kuadrat terkecil (LSE)? Mengapa kita tidak bisa menggunakan MLE untuk memprediksi nilai dalam regresi linier dan sebaliknya?yyy Setiap bantuan tentang topik ini akan sangat dihargai.

42 regression  estimation  maximum-likelihood  least-squares 

Adakah yang bisa menjelaskan apa yang dilakukan unit maxout dalam jaringan saraf? Bagaimana kinerjanya dan bagaimana perbedaannya dari unit konvensional? Saya mencoba membaca makalah "Maxout Network" 2013 oleh Goodfellow et al. (dari kelompok Profesor Yoshua Bengio), tapi saya tidak mengerti.

42 machine-learning  neural-networks 

Saya menggunakan sebagian besar "distribusi Gaussian" dalam buku saya, tetapi seseorang hanya menyarankan saya beralih ke "distribusi normal". Adakah konsensus tentang istilah mana yang digunakan untuk pemula? Tentu saja kedua istilah itu sinonim , jadi ini bukan pertanyaan tentang substansi, tetapi murni soal istilah mana yang lebih umum digunakan. Dan …

42 normal-distribution  terminology 

Apa alasan teoretis untuk tidak menangani nilai yang hilang? Mesin peningkat gradien, pohon regresi menangani nilai yang hilang. Mengapa Random Forest tidak melakukan itu?

42 random-forest  missing-data  gbm 

Saya telah berjalan di pernyataan bahwa setiap sampel bootstrap (atau pohon dikantongi) akan berisi rata-rata sekitar 2/32/32/3 dari pengamatan. Saya mengerti bahwa kesempatan tidak dipilih dalam salah nnn menarik dari nnn sampel dengan penggantian (1−1/n)n(1−1/n)n(1- 1/n)^n , yang bekerja untuk sekitar 1/31/31/3 kesempatan tidak dipilih. Apa penjelasan matematis mengapa rumus …

42 bootstrap 

Saya bingung. Saya tidak mengerti perbedaan antara ARMA dan proses GARCH .. bagi saya ada yang sama? Inilah proses (G) ARCH (p, q) σ2t=α0+∑i=1qαir2t−iARCH+∑i=1pβiσ2t−iGARCHσt2=α0+∑i=1qαirt−i2⏟ARCH+∑i=1pβiσt−i2⏟GARCH\sigma_t^2 = \underbrace{ \underbrace{ \alpha_0 + \sum_{i=1}^q \alpha_ir_{t-i}^2} _{ARCH} + \sum_{i=1}^p\beta_i\sigma_{t-i}^2} _{GARCH} Dan di sini adalah ARMA ( ):p,qp,qp, q Xt=c+εt+∑i=1pφiXt−i+∑i=1qθiεt−i.Xt=c+εt+∑i=1pφiXt−i+∑i=1qθiεt−i. X_t = c + \varepsilon_t + …

42 arima  garch  finance