Mengapa PCA probabilistik menggunakan Gaussian sebelum variabel laten?

Saat ini saya membaca makalah tentang PCA probabilistik dan saya bertanya-tanya mengapa Gaussian prior (dan bukan beberapa prior lainnya) dipilih untuk variabel laten? Apakah hanya karena itu sederhana atau ada alasan lain?

Referensi:

Tipping & Bishop, 1999, Analisis Komponen Utama Probabilistik - tepat di bawah persamaan. (2)
Tipping & Bishop, 1999, Campuran Analisis Komponen Utama Probabilistik - mis. (4)

— Irminsul
sumber

PCA probabilistik

PCA probabilistik adalah model variabel laten Gaussian dari bentuk berikut. Pengamatan $\mathbf x \in \mathbb R^D$ terdiri dari $D$ variabel, variabel laten $\mathbf z \in \mathbb R^M$ diasumsikan terdiri dari $M<D$ variabel; variabel laten sebelumnya adalah Gaussian unit-kovarian nol rata-rata:

z \sim N (0, I),

$\mathbf z \sim \mathcal N(\mathbf 0, \mathbf I),$ dan distribusi kondisional dari variabel yang diamati mengingat variabel laten adalah Ternyata solusi kemungkinan maksimum untuk model ini diberikan oleh komponen PCA pertama dari data: kolom

x | z \sim N (W z + μ, σ^{2} I) .

$\mathbf x | \mathbf z \sim \mathcal N(\mathbf W\mathbf z+\boldsymbol \mu, \sigma^2 \mathbf I).$

M

$M$

W_{ML}

$\mathbf W_\text{ML}$ sebanding dengan vektor eigen teratas dari matriks kovarians (sumbu utama). Lihat Tipping & Bishop untuk detailnya.

Mengapa menggunakan Gaussian sebelumnya?

Untuk setiap prior lain (atau setidaknya untuk kebanyakan prior lainnya) solusi kemungkinan maksimum tidak akan sesuai dengan solusi PCA standar, sehingga tidak ada alasan untuk menyebut model variabel laten ini "PCA probabilistik". Gaussian sebelumnya adalah yang menimbulkan PCA. $\mathcal N(\mathbf 0, \mathbf I)$
Sebagian besar prior lainnya akan membuat masalah jauh lebih rumit atau bahkan tidak bisa diselesaikan secara analitis. Memiliki distribusi bersyarat Gaussian prior dan Gaussian mengarah ke distribusi marginal Gaussian , dan mudah untuk melihat bahwa matriks kovariansnya akan diberikan oleh . Distribusi non-Gaussian jauh lebih sulit untuk dikerjakan. $p(\mathbf x)$ $\mathbf W^\top \mathbf W + \sigma^2\mathbf I$
Memiliki Gaussian marginal distribution juga menarik karena tugas PCA standar adalah memodelkan matriks kovarians (yaitu momen kedua); PCA tidak tertarik pada momen distribusi data yang lebih tinggi. Distribusi Gaussian sepenuhnya dijelaskan oleh dua momen pertama: rata-rata dan kovarians. Kami tidak ingin menggunakan distribusi yang lebih rumit / fleksibel, karena PCA tidak berurusan dengan aspek-aspek data ini. $p(\mathbf x)$
Gaussian sebelum memiliki satuan kovarians matriks karena idenya adalah untuk memiliki variabel laten berkorelasi yang menimbulkan covariances diamati hanya melalui beban . $\mathbf W$

— amuba
sumber

Terima kasih ! Sangat jelas! Untuk poin pertama saya setuju tetapi sepertinya itu menjadi jawaban untuk pertanyaan 'Mengapa model ini disebut PPCA?' Poin 2 sampai 4 persis seperti yang saya harapkan, saya seharusnya mengubah pertanyaan menjadi 'Apa manfaat dari mengambil gaussian sebelumnya?'

— Irminsul