Apakah algoritma EM secara konsisten memperkirakan parameter dalam model Gaussian Mixture?

Saya sedang mempelajari model Gaussian Mixture dan muncul sendiri pertanyaan ini.

Misalkan data yang mendasari dihasilkan dari campuran distribusi Gaussian dan masing-masing memiliki vektor rata-rata , di mana dan masing-masing memiliki co-varian yang sama matriks dan berasumsi ini adalah sebuah matriks diagonal. Dan anggap rasio pencampuran adalah , yaitu, masing-masing kelompok memiliki berat yang sama. $K$ $\mu_k\in\mathbb{R}^p$ $1\leq k\leq K$ $\Sigma$ $\Sigma$ $1/K$

Jadi, dalam contoh yang ideal ini, satu-satunya pekerjaan adalah untuk memperkirakan vektor mean , di mana dan co-variance matriks . $K$ $\mu_k\in\mathbb{R}^p$ $1\leq k\leq K$ $\Sigma$

Pertanyaan saya adalah: jika kita menggunakan algoritma EM, apakah kita dapat secara konsisten memperkirakan dan , yaitu, ketika ukuran sampel , akankah penaksir yang dihasilkan oleh algoritma EM mencapai nilai sebenarnya dari dan ? $\mu_k$ $\Sigma$ $n\rightarrow\infty$ $\mu_k$ $\Sigma$

— KevinKim
sumber

$\mu_k$

$1/K$ $\Sigma$ $k$

— dcorney
sumber

Secara numerik saya bereksperimen, setidaknya untuk 2 kelas independen dari distribusi normal, EM menghasilkan penduga yang konsisten dari rata-rata kelas. Namun, K berarti tidak bisa melakukan itu, saya membuktikannya secara matematis

— KevinKim

Bisakah Anda memberikan rincian lebih lanjut? Misalnya data apa yang Anda gunakan, bagaimana Anda menginisialisasi parameter dll.

— dcorney

Setuju dengan @dcorney. Itu benar-benar tergantung pada nilai awal yang akan Anda pilih. Setidaknya dalam praktiknya pilihan nilai awal yang salah mengarah pada estimasi yang tidak konsisten (saya menggunakan paket mixtools R)

— German Demidov