Jenis kovarian yang berbeda untuk Model Campuran Gaussian

Saat mencoba Gaussian Mixture Models di sini , saya menemukan 4 jenis kovarian ini.

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

Saya sering mencari di Google untuk mencari rincian lebih lanjut tentang masing-masing jenis ini tetapi hanya menemukan deskripsi tingkat tinggi (seperti ini ).

Hargai jika seseorang dapat membantu saya memahami ini, atau setidaknya mengarahkan saya ke suatu tempat saya dapat membaca tentang ini.

covariance-matrix gaussian-mixture

— Lebah
sumber

Distribusi Gaussian sepenuhnya ditentukan oleh matriks kovariannya dan rerata (lokasi di luar angkasa). Matriks kovarian dari distribusi Gaussian menentukan arah dan panjang sumbu dari kontur kerapatan, yang semuanya adalah ellipsoid.

Keempat jenis model campuran ini dapat diilustrasikan secara umum dengan menggunakan case dua dimensi. Di masing-masing plot kontur dari kerapatan campuran ini, dua komponen terletak di dan dengan bobot masing-masing dan . Bobot yang berbeda akan menyebabkan set kontur terlihat sedikit berbeda bahkan ketika matriks kovariansnya sama, tetapi bentuk keseluruhan dari kontur individu masih akan serupa untuk matriks yang identik. $(0,0)$ $(4,5)$ $3/5$ $2/5$

Mengklik pada gambar akan menampilkan versi pada resolusi yang lebih tinggi.

NB Ini adalah plot dari campuran yang sebenarnya, bukan dari komponen individu. Karena komponen-komponennya dipisahkan dengan baik dan beratnya sebanding, kontur campuran sangat mirip dengan kontur komponen (kecuali pada level rendah di mana komponen-komponen tersebut dapat terdistorsi dan bergabung, seperti ditunjukkan di tengah plot "terikat" misalnya).

Penuh berarti komponen dapat secara mandiri mengadopsi posisi dan bentuk apa pun.
Terikat berarti mereka memiliki bentuk yang sama, tetapi bentuknya bisa apa saja.
Diagonal berarti sumbu kontur berorientasi sepanjang sumbu koordinat, tetapi selain itu eksentrisitas dapat bervariasi antar komponen.
Tied Diagonal adalah situasi "terikat" di mana sumbu kontur diorientasikan di sepanjang sumbu koordinat. (Saya telah menambahkan ini karena pada awalnya itu adalah bagaimana saya salah mengartikan "diagonal.")
Bola adalah situasi "diagonal" dengan kontur lingkaran (bola dalam dimensi yang lebih tinggi, dari mana namanya).

Ini memperlihatkan gamut dari campuran yang paling umum ke jenis campuran yang sangat spesifik. Pembatasan (fussier) lainnya dimungkinkan, terutama dalam dimensi yang lebih tinggi di mana jumlah parameter tumbuh dengan cepat. (Matriks kovarians dalam dimensi dijelaskan oleh parameter independen.) $n$ $n(n+1)/2$

— whuber
sumber

Jawaban yang bagus Terima kasih. Satu pertanyaan terakhir. Apakah ini hanya 4 jenis? atau ada tipe lain juga?

— Lebah

Saya yakin Anda dapat membayangkan berbagai kasus menengah di mana beberapa komponen berbagi properti tertentu dan komponen lainnya tidak, atau di mana beberapa karakteristik semua komponen sudah ditentukan sebelumnya. Misalnya, contoh paling ekstrem adalah situasi "bola" di mana varians diharuskan (katakanlah) di semua komponen.

1

$1$

— whuber

Terima kasih. Saya baru saja membandingkan deskripsi yang dikutip di posting saya dan jawaban Anda. Di tambang, 'Terikat' adalah satu-satunya yang dibagikan oleh semua komponen. Tetapi di dalam kamu, 'Penuh' tampaknya menjadi satu-satunya yang TIDAK dibagikan oleh masing-masing komponen. Saya hanya merasa 2 ini saling bertentangan. (Saya yakin saya kehilangan sesuatu). Apakah Anda keberatan menjelaskannya? Terima kasih banyak.

— Bee

Saya tidak melihat kontradiksi: Saya telah dengan setia mewakili kondisi yang Anda uraikan. Memang, saya tidak merujuk ke sumber lain untuk membuat gambar-gambar ini.

— whuber

Terima kasih - saya mengerti maksud Anda. Saya akan memperbarui penjelasan untuk mencerminkan hal itu.

— whuber