Perbedaan antara MLE dan Baum Welch pada pemasangan HMM

Dalam pertanyaan populer ini , jawaban terangkat tinggi membuat MLE dan Baum Welch terpisah dalam fitting HMM.

Untuk masalah pelatihan, kita dapat menggunakan 3 algoritme berikut: MLE (estimasi kemungkinan maksimum), pelatihan Viterbi (JANGAN bingung dengan decoding Viterbi), Baum Welch = algoritma maju-mundur

TETAPI di Wikipedia , katanya

Algoritma Baum-Welch menggunakan algoritma EM yang terkenal untuk menemukan estimasi kemungkinan maksimum dari parameter

Jadi, apa hubungan antara algoritma MLE dan Baum-Welch?

Upaya saya: Tujuan untuk algoritma Baum-Welch adalah memaksimalkan kemungkinan, tetapi menggunakan algoritma khusus (EM) untuk menyelesaikan optimasi. Kami masih dapat memaksimalkan kemungkinan dengan menggunakan metode lain seperti gradient decent. Inilah sebabnya mengapa jawabannya membuat dua algoritma terpisah.

Apakah saya benar dan ada yang bisa membantu saya untuk mengklarifikasi?

Rujuk ke salah satu jawaban (oleh Masterfool) dari tautan pertanyaan yang Anda berikan,

Jawaban Morat salah pada satu titik: Baum-Welch adalah algoritma Expectation-Maximization, yang digunakan untuk melatih parameter HMM. Ini menggunakan algoritma maju-mundur selama setiap iterasi. Algoritma forward-backward benar-benar hanyalah kombinasi dari algoritma forward dan backward: satu forward pass, satu backward pass.

Dan saya setuju dengan jawaban PierreE di sini, algoritma Baum-Welch digunakan untuk memecahkan kemungkinan maksimum dalam HHM. Jika keadaan diketahui (diawasi, urutan berlabel), maka metode lain memaksimalkan MLE digunakan (mungkin seperti, cukup menghitung frekuensi setiap emisi dan transisi yang diamati dalam data pelatihan, lihat slide yang disediakan oleh Franck Dernoncourt).

Dalam pengaturan MLE untuk HMM, saya tidak berpikir Anda bisa menggunakan gradient descent, karena kemungkinan (atau, log-likelihood) tidak memiliki solusi bentuk-tertutup dan harus dipecahkan secara iteratif, sama seperti kasus di model campuran jadi kita beralih ke EM. (Lihat perincian lebih lanjut dalam Bishop, Pattern Recognition book, bab 13.2.1 Pg614)

Jadi, apa hubungan antara algoritma MLE dan Baum-Welch?

Algoritma maksimalisasi ekspektasi (EM) lebih umum dan algoritma Baum-Welch hanyalah sebuah instantiasi, dan EM adalah algoritma iteratif untuk kemungkinan maksimum (ML). Kemudian algoritma Baum-Welch juga merupakan algoritma iteratif untuk kemungkinan maksimum.

Biasanya ada tiga algoritma optimasi untuk estimasi kemungkinan maksimum (pendekatan frequentist): 1) gradient descent; 2) Rantai Markov Monte Carlo; 3) maksimalisasi harapan.

Pertanyaan ini telah ada di sini selama beberapa bulan tetapi jawaban ini mungkin membantu pembaca baru, sebagai pelengkap komentar David Batista.

Algoritma Baulm-Welch (BM) adalah algoritma maksimisasi ekspektasi untuk menyelesaikan estimasi kemungkinan maksimum (MLE) untuk melatih HMM Anda ketika status tidak diketahui / disembunyikan (pelatihan tanpa pengawasan).

Tetapi jika Anda tahu statusnya, Anda bisa menggunakan metode MLE (yang tidak akan menjadi BM) untuk menyesuaikan model Anda dengan data pasangan / status dengan cara yang diawasi.