Autoencoder variabel dengan model campuran Gaussian

Sebuah autoencoder variational (Vae) menyediakan cara belajar distribusi probabilitas yang berkaitan masukan representasi latennya . Secara khusus, encoder memetakan input ke distribusi pada . Encoder tipikal akan menampilkan parameter , mewakili distribusi Gaussian ; distribusi ini digunakan sebagai perkiraan kami untuk . $p(x,z)$ $x$ $z$ $e$ $x$ $z$ $(\mu,\sigma)=e(x)$ $\mathcal{N}(\mu,\sigma)$ $p(z|x)$

Adakah yang menganggap VAE di mana outputnya adalah model campuran Gaussian, bukan Gaussian? Apakah ini berguna? Apakah ada tugas di mana ini secara signifikan lebih efektif daripada distribusi Gaussian sederhana? Atau apakah itu memberikan sedikit manfaat?

— DW
sumber

arxiv.org/abs/1611.02648

— shimao

@shimao, terima kasih! Saya telah menulis jawaban yang merangkum bahwa, jika bermanfaat bagi orang lain di masa depan. Terima kasih lagi.

— DW

@ DW maaf atas jawaban yang terlambat. Saya hanya bingung tentang sesuatu. Bukankah VAE mewakili campuran gaussians yang tak terbatas?

— floyd

Ya, sudah dilakukan. Makalah berikut mengimplementasikan sesuatu dari bentuk itu:

Pengelompokan Unsupervised mendalam dengan Autoencoder Variatif Campuran Gaussian . Nat Dilokthanakul, Pedro AM Mediano, Marta Garnelo, Matthew CH Lee, Hugh Salimbeni, Kai Arulkumaran, Murray Shanahan.

Mereka bereksperimen dengan menggunakan pendekatan ini untuk pengelompokan. Setiap Gaussian dalam campuran Gaussian sesuai dengan gugus yang berbeda. Karena campuran Gaussian berada dalam ruang laten ( $z$ ), dan ada jaringan saraf yang menghubungkan $z$ untuk $x$ , ini memungkinkan cluster non-sepele di ruang input ( $x$ ).

Makalah itu juga menyebutkan posting blog berikut, yang bereksperimen dengan variasi berbeda pada arsitektur itu: http://ruishu.io/2016/12/25/gmvae/

Terima kasih kepada shimao karena menunjukkan ini.

— DW
sumber