Statistik dan Big Data

Apa itu studi ablasi? Dan adakah cara sistematis untuk melakukannya? Sebagai contoh, saya memiliki prediktor dalam regresi linier yang akan saya sebut sebagai model saya.nnn Bagaimana saya akan melakukan studi ablasi untuk ini? Metrik apa yang harus saya gunakan? Sumber atau buku teks yang komprehensif akan dihargai.

25 regression  machine-learning  neural-networks 

Kedua Cross-entropy dan KL divergence adalah alat untuk mengukur jarak antara dua distribusi probabilitas. Apa bedanya? H( P, Q ) = -∑xP( x ) logQ ( x )H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x P(x)\log Q(x) KL ( P| Q)=∑xP( x ) logP( x )Q ( x )KL(P|Q)=∑xP(x)log⁡P(x)Q(x) KL(P | Q) = \sum_{x} …

25 entropy  kullback-leibler  cross-entropy 

Sebagai per ini dan jawaban ini , autoencoder tampaknya menjadi teknik yang menggunakan jaringan saraf untuk pengurangan dimensi. Saya ingin juga tahu apa adalah variational autoencoder (perbedaan utama / manfaat lebih dari satu "tradisional" autoencoders) dan juga apa yang tugas belajar utama algoritma ini digunakan untuk.

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Jadi saya baru saja selesai membaca buku besar Pengantar Empiris Bayes . Saya pikir buku itu hebat, tetapi membangun data dari data terasa salah. Saya dilatih bahwa Anda membuat rencana analisis lalu mengumpulkan data, lalu menguji hipotesis yang sebelumnya Anda tentukan dalam rencana analisis Anda. Ketika Anda melakukan analisis pada …

24 machine-learning  hypothesis-testing  bayesian  empirical-bayes 

Saya agak bingung tentang kelebihan model campuran dalam hal pemodelan prediktif. Karena model prediktif biasanya dimaksudkan untuk memprediksi nilai dari pengamatan yang sebelumnya tidak diketahui maka tampak jelas bagi saya bahwa satu-satunya cara model campuran mungkin berguna adalah melalui kemampuannya untuk memberikan prediksi tingkat populasi (yaitu tanpa menambahkan efek acak). …

24 mixed-model  predictive-models 

Saya mencoba memahami regresi kuantitatif, tetapi satu hal yang membuat saya menderita adalah pilihan fungsi kerugian. ρτ( u ) = u ( τ- 1{ u &lt; 0 })ρτ(kamu)=kamu(τ-1{kamu&lt;0})\rho_\tau(u) = u(\tau-1_{\{u<0\}}) Saya tahu bahwa minimum harapan sama dengan -quantile, tetapi apa alasan intuitif untuk memulai dengan fungsi ini? Saya tidak melihat …

24 quantiles  loss-functions  quantile-regression 

Saya mencoba melacak siapa yang menemukan struktur dan algoritma data pohon keputusan. Dalam entri Wikipedia tentang pembelajaran pohon keputusan ada klaim bahwa "ID3 dan CART ditemukan secara independen pada waktu yang bersamaan (antara 1970 dan 1980)". ID3 disajikan kemudian di: Quinlan, JR 1986. Induksi Pohon Keputusan. Mach Belajar. 1, 1 …

24 cart  history 

Distribusi binomial negatif (NB) didefinisikan pada bilangan bulat non-negatif dan memiliki fungsi massa probabilitas f(k;r,p)=(k+r−1k)pk(1−p)r.f(k;r,p)=(k+r−1k)pk(1−p)r.f(k;r,p)={\binom {k+r-1}{k}}p^{k}(1-p)^{r}.Apakah masuk akal untuk mempertimbangkan distribusi kontinu pada real non-negatif yang didefinisikan oleh rumus yang sama (mengganti k∈N0k∈N0k\in \mathbb N_0 oleh x∈R≥0x∈R≥0x\in\mathbb R_{\ge 0} )? Koefisien binomial dapat ditulis ulang sebagai produk dari (k+1)⋅…⋅(k+r−1)(k+1)⋅…⋅(k+r−1)(k+1)\cdot\ldots\cdot(k+r-1) , …

24 distributions  negative-binomial  count-data  continuous-data  bioinformatics 

Saat ini saya sedang mengerjakan masalah, di mana saya perlu mengembangkan algoritma rantai Markov Monte Carlo (MCMC) untuk model ruang angkasa. Untuk dapat menyelesaikan masalah, saya telah diberi probabilitas : p ( ) = 2I ( &gt; 0) / (1+ ). menjadi standar deviasi dari .ττ\tauττ\tauττ\tauτ2τ2\tau^2ττ\tauxxx Jadi sekarang saya tahu …

24 distributions  bayesian  prior  state-space-models  cauchy 

Saya membaca tentang pengoptimal Adam untuk Deep Learning dan menemukan kalimat berikut dalam buku baru Deep Learning karya Bengio, Goodfellow dan Courville: Adam umumnya dianggap cukup kuat untuk memilih parameter hiper, meskipun tingkat pembelajaran kadang-kadang perlu diubah dari standar yang disarankan. jika ini benar, ini adalah masalah besar karena pencarian …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Saya menulis esai teoretis singkat untuk kursus Statistik Bayesian (dalam Ekonomi M.Sc.) tentang prior uninformative dan saya mencoba memahami yang merupakan langkah-langkah dalam pengembangan teori ini. Sekarang, garis waktu saya dibuat tiga langkah utama: Prinsip ketidakpedulian Laplace (1812), prior Non-Invariant (Jeffreys (1946)), referensi Bernardo sebelumnya (1979). Dari tinjauan literatur saya, …

24 bayesian  references  prior  history 

Apakah ada sesuatu yang signifikan tentang rata-rata geometrik dan rata-rata aritmatika yang sangat dekat satu sama lain, katakan ~ 0,1%? Dugaan apa yang dapat dibuat tentang kumpulan data seperti itu? Saya telah bekerja menganalisis set data, dan saya perhatikan bahwa ironisnya nilainya sangat, sangat dekat. Tidak tepat, tapi tutup. Juga, …

24 descriptive-statistics  mean  geometric-mean 

Inspirasi untuk pertanyaan ini datang dari artikel Leo-Breiman yang terkenal, Pemodelan Statistik: The Two Cultures (akses terbuka yang tersedia). Penulis membandingkan apa yang dilihatnya sebagai dua pendekatan berbeda untuk menganalisis data, menyentuh ide-ide kunci dalam statistik klasik dan pembelajaran mesin. Namun, artikel ini dapat dipahami oleh khalayak luas - dapat …

24 references 

ANOVA vs regresi linier berganda? Saya mengerti bahwa kedua metode ini tampaknya menggunakan model statistik yang sama. Namun dalam keadaan apa saya harus menggunakan metode apa? Apa kelebihan dan kekurangan metode ini jika dibandingkan? Mengapa ANOVA begitu umum digunakan dalam studi eksperimental dan saya hampir tidak pernah menemukan studi regresi?

24 anova  multiple-regression  least-squares 

\newcommand{\P}{\mathbb{P}} Kami memiliki proses acak yang mungkin-atau-mungkin-tidak terjadi beberapa kali dalam jangka waktu TTT . Kami memiliki umpan data dari model yang sudah ada dari proses ini, yang menyediakan probabilitas sejumlah peristiwa yang terjadi pada periode 0≤t&lt;T0≤t&lt;T0 \leq t < T . Model yang ada ini sudah tua dan kita …

24 negative-binomial  kalman-filter  poisson-process  state-space-models