Pertanyaan yang diberi tag «expectation-maximization»

Saya mencoba untuk mendapatkan pemahaman yang baik tentang algoritma EM, untuk dapat mengimplementasikan dan menggunakannya. Saya menghabiskan satu hari penuh membaca teori dan kertas di mana EM digunakan untuk melacak pesawat menggunakan informasi posisi yang berasal dari radar. Sejujurnya, saya pikir saya tidak sepenuhnya memahami ide yang mendasarinya. Adakah yang …

117 regression  probability  mathematical-statistics  intuition  expectation-maximization 

Saya telah mempelajari algoritma untuk pengelompokan data (pembelajaran tanpa pengawasan): EM, dan k-means. Saya terus membaca yang berikut: k-means adalah varian EM, dengan asumsi bahwa kluster adalah bola. Adakah yang bisa menjelaskan kalimat di atas? Saya tidak mengerti apa arti bola, dan bagaimana kmeans dan EM berhubungan, karena yang satu …

50 machine-learning  clustering  data-mining  k-means  expectation-maximization 

Apa perbedaan antara algoritma EM (Ekspektasi Maksimalisasi) dan Gradient Ascent (atau keturunan)? Apakah ada kondisi di mana mereka setara?

28 gradient-descent  expectation-maximization 

Saya membaca di suatu tempat bahwa metode Variational Bayes adalah generalisasi dari algoritma EM. Memang, bagian berulang dari algoritma sangat mirip. Untuk menguji apakah algoritma EM adalah versi khusus dari Variational Bayes, saya mencoba yang berikut: YYY adalah data, adalah kumpulan variabel laten dan adalah parameternya. Dalam Variational Bayes yang …

26 bayesian  expectation-maximization  variational-bayes 

Saya telah membaca beberapa penjelasan tentang algoritma EM (misalnya dari Pengenalan Pola Bishop dan Pembelajaran Mesin dan dari Kursus Pertama Roger dan Gerolami tentang Pembelajaran Mesin). Derivasi EM itu ok, saya mengerti. Saya juga mengerti mengapa algoritma menutupi sesuatu: pada setiap langkah kita meningkatkan hasil dan kemungkinan dibatasi oleh 1.0, …

24 missing-data  convergence  expectation-maximization 

Catatan: Saya memposting pertanyaan dari mantan mahasiswa saya yang tidak dapat memposting sendiri karena alasan teknis. Diberikan sampel iid x1,…,xnx1,…,xnx_1,\ldots,x_n dari distribusi Weibull dengan pdf fk(x)=kxk−1e−xkx>0fk(x)=kxk−1e−xkx>0 f_k(x) = k x^{k-1} e^{-x^k} \quad x>0 apakah ada variabel yang hilang representasi berguna fk(x)=∫Zgk(x,z)dzfk(x)=∫Zgk(x,z)dzf_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z dan karenanya sebuah terkait EM (harapan-maksimisasi) …

24 optimization  missing-data  expectation-maximization  weibull  gumbel 

Dari sedikit yang saya tahu algoritma EM dapat digunakan untuk menemukan kemungkinan maksimum ketika menetapkan ke nol turunan parsial sehubungan dengan parameter kemungkinan memberikan seperangkat persamaan yang tidak dapat diselesaikan secara analitis. Tetapi apakah algoritma EM diperlukan alih-alih menggunakan beberapa teknik numerik untuk mencoba menemukan kemungkinan maksimum sehubungan dengan kendala …

22 expectation-maximization 

Setelah melakukan analisis komponen utama (PCA), saya ingin memproyeksikan vektor baru ke ruang PCA (yaitu menemukan koordinatnya dalam sistem koordinat PCA). Saya telah menghitung PCA dalam bahasa R menggunakan prcomp. Sekarang saya harus bisa mengalikan vektor saya dengan matriks rotasi PCA. Haruskah komponen utama dalam matriks ini disusun dalam baris …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Pertanyaan ini dimigrasikan dari Mathematics Stack Exchange karena dapat dijawab di Cross Validated. Bermigrasi 6 tahun yang lalu . Dalam pendekatan algoritma EM kami menggunakan ketidaksetaraan Jensen untuk sampai padalogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlog⁡p(x|θ)≥∫log⁡p(z,x|θ)p(z|x,θ(k))dz−∫log⁡p(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz dan definisikan olehθ(k+1)θ(k+1)\theta^{(k+1)}θ(k+1)=argmaxθ∫logp(z,x|θ)p(z|x,θ(k))dzθ(k+1)=arg⁡maxθ∫log⁡p(z,x|θ)p(z|x,θ(k))dz\theta^{(k+1)}=\arg \max_{\theta}\int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz …

20 mixture  expectation-maximization 

Saya ingin menerapkan algoritma EM manual dan kemudian membandingkannya dengan hasil normalmixEMdari mixtoolspaket. Tentu saja, saya akan senang jika keduanya menghasilkan hasil yang sama. Referensi utama adalah Geoffrey McLachlan (2000), Finite Mixture Models . Saya memiliki kerapatan campuran dari dua Gaussians, dalam bentuk umum, log-likelihood diberikan oleh (McLachlan halaman 48): …

20 r  expectation-maximization  gaussian-mixture 

Pertimbangkan kemungkinan log campuran Gaussians: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlog⁡f(x(t)|θ)=∑t=1nlog⁡{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\} Saya bertanya-tanya mengapa sulit secara komputasi untuk memaksimalkan persamaan itu secara langsung? Saya mencari intuisi yang jelas tentang mengapa harus jelas bahwa itu sulit atau mungkin penjelasan yang lebih keras mengapa sulit. Apakah ini masalah NP-complete …

18 machine-learning  gaussian-mixture  expectation-maximization 

Saya mencoba mempelajari cara menggunakan Bidang Acak Markov untuk mengelompokkan wilayah dalam gambar. Saya tidak mengerti beberapa parameter dalam MRF atau mengapa maksimisasi ekspektasi yang saya lakukan gagal konvergen ke solusi kadang-kadang. Mulai dari teorema Bayes, saya memiliki , di mana adalah nilai skala abu-abu piksel dan adalah label kelas. …

16 expectation-maximization  image-processing  classification 

Prosedur EM muncul, bagi yang belum tahu, sebagai kurang lebih ilmu hitam. Taksir parameter HMM (misalnya) menggunakan data yang dilindungi. Kemudian decode data yang tidak ditandai, menggunakan maju-mundur untuk 'menghitung' peristiwa seolah-olah data tersebut ditandai, lebih atau kurang. Mengapa ini membuat model lebih baik? Saya tahu sesuatu tentang matematika, tetapi …

16 expectation-maximization  intuition 

Ada banyak literatur yang menekankan metode Maksimalisasi Ekspektasi pada model campuran (Campuran Gaussian, Hidden Markov Model, dll.). Mengapa EM itu penting? EM hanyalah cara untuk melakukan optimasi dan tidak banyak digunakan sebagai metode berbasis gradien (layak gradien atau metode newton / quasi-newton) atau metode bebas gradien lain yang dibahas di …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

Saya tahu k-means biasanya dioptimalkan menggunakan Expectation Maximization . Namun kami dapat mengoptimalkan fungsi kerugiannya dengan cara yang sama kami mengoptimalkan lainnya! Saya menemukan beberapa makalah yang benar-benar menggunakan keturunan gradien stokastik untuk k-means skala besar, tapi saya tidak bisa menjawab pertanyaan saya. Jadi, ada yang tahu kenapa begitu? Apakah …

14 optimization  k-means  expectation-maximization  loss-functions