Pertanyaan yang diberi tag «variational-bayes»

Bagaimana cara trik reparameterisasi untuk variabel autoencoder (VAE) bekerja? Apakah ada penjelasan yang intuitif dan mudah tanpa menyederhanakan matematika yang mendasarinya? Dan mengapa kita membutuhkan 'tipuan'?

57 mathematical-statistics  autoencoders  variational-bayes  generative-models 

Saya pikir saya mendapatkan ide umum baik VI dan MCMC termasuk berbagai rasa MCMC seperti sampling Gibbs, Metropolis Hastings dll. Makalah ini memberikan paparan yang luar biasa dari kedua metode. Saya punya pertanyaan berikut: Jika saya ingin melakukan inferensi Bayesian, mengapa saya memilih satu metode daripada yang lain? Apa pro …

36 machine-learning  bayesian  mcmc  variational-bayes  approximate-inference 

Saya membaca di suatu tempat bahwa metode Variational Bayes adalah generalisasi dari algoritma EM. Memang, bagian berulang dari algoritma sangat mirip. Untuk menguji apakah algoritma EM adalah versi khusus dari Variational Bayes, saya mencoba yang berikut: YYY adalah data, adalah kumpulan variabel laten dan adalah parameternya. Dalam Variational Bayes yang …

26 bayesian  expectation-maximization  variational-bayes 

di hampir semua contoh kode yang pernah saya lihat dari VAE, fungsi kerugian didefinisikan sebagai berikut (ini adalah kode tensorflow, tapi saya pernah melihat yang serupa untuk theano, obor dll. Ini juga untuk convnet, tetapi itu juga tidak terlalu relevan , hanya mempengaruhi sumbu jumlah yang diambil alih): # latent …

26 machine-learning  deep-learning  tensorflow  autoencoders  variational-bayes 

Sebagai per ini dan jawaban ini , autoencoder tampaknya menjadi teknik yang menggunakan jaringan saraf untuk pengurangan dimensi. Saya ingin juga tahu apa adalah variational autoencoder (perbedaan utama / manfaat lebih dari satu "tradisional" autoencoders) dan juga apa yang tugas belajar utama algoritma ini digunakan untuk.

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Saya mengerti struktur dasar autoencoder variasional dan autoencoder normal (deterministik) dan matematika di belakangnya, tetapi kapan dan mengapa saya lebih suka satu jenis autoencoder dari yang lain? Yang bisa saya pikirkan adalah distribusi sebelumnya variabel laten dari autoencoder variasional memungkinkan kita untuk mengambil sampel variabel laten dan kemudian membangun gambar …

19 deep-learning  autoencoders  variational-bayes 

Saya mempelajari Tutorial ini pada Variational Autoencoders oleh Carl Doersch . Di halaman kedua disebutkan: Salah satu kerangka kerja yang paling populer adalah Varienc Autoencoder [1, 3], subjek tutorial ini. Asumsi model ini lemah, dan pelatihan cepat melalui backpropagation. VAE memang membuat perkiraan, tetapi kesalahan yang diperkenalkan oleh perkiraan ini …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

Saya membaca tentang kesimpulan Bayesian dan saya menemukan frasa "integrasi numerik dari kemungkinan marginal terlalu mahal" Saya tidak memiliki latar belakang matematika dan saya bertanya-tanya apa sebenarnya arti mahal di sini? Apakah hanya dalam hal kekuatan perhitungan atau ada sesuatu yang lebih.

12 bayesian  numerical-integration  variational-bayes  approximate-inference 

Untuk saya (sangat sederhana) memahami inferensi variasional, orang mencoba untuk memperkirakan p distribusi yang tidak diketahui dengan menemukan q distribusi yang mengoptimalkan berikut ini:pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Setiap kali saya menginvestasikan waktu untuk memahami inferensi variasional, saya terus memukul formula ini dan tidak bisa membantu tetapi …

12 variational-bayes 

Apa perbedaan antara Variational Bayes yang dikodekan secara otomatis dan Backpropagation Stochastic untuk Deep Generative Models ? Apakah kesimpulan dalam kedua metode menghasilkan hasil yang sama? Saya tidak mengetahui adanya perbandingan eksplisit antara kedua metode, meskipun demikian kedua kelompok penulis saling mengutip.

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

Saya telah mengimplementasikan VAE dan saya perhatikan dua implementasi online berbeda dari divergensi KL gaussian univariat yang disederhanakan. Perbedaan asli sebagai per sini adalah Jika kita menganggap kami sebelumnya adalah unit gaussian yaituμ2=0danσ2=1, menyederhanakan ini ke KLloss=-log(σ1)+σ 2 1 +μ 2 1KL.l o s s= log( σ2σ1) + σ21+ ( …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Saya membaca di variational Bayes, dan seperti yang saya mengerti, itu datang ke gagasan bahwa Anda memperkirakan (di mana z adalah variabel laten dari model Anda dan x data yang diamati) dengan fungsi q (z) , membuat asumsi bahwa q faktorisasi sebagai q_i (z_i) di mana z_i adalah subset dari …

10 variational-bayes 

Saya sedang mengerjakan masalah inferensi dimensi tinggi (sekitar 2000 parameter model) yang kami mampu melakukan estimasi MAP dengan kuat dengan menemukan maksimum global log-posterior menggunakan kombinasi optimasi berbasis gradien dan algoritma genetika. Saya sangat ingin dapat membuat beberapa estimasi ketidakpastian pada parameter model selain menemukan estimasi MAP. Kami dapat menghitung …

9 bayesian  uncertainty  high-dimensional  variational-bayes 

Saya mencoba untuk menerapkan model Campuran Gaussian dengan inferensi variasional stokastik, berikut ini kertas . Ini adalah pgm dari Campuran Gaussian. Menurut makalah itu, algoritma penuh inferensi variatif stokastik adalah: Dan saya masih sangat bingung dengan metode untuk menskalakannya menjadi GMM. Pertama, saya pikir parameter variasional lokal hanya dan yang …

9 machine-learning  bayesian  clustering  gaussian-mixture  variational-bayes 

Sebuah autoencoder variational (Vae) menyediakan cara belajar distribusi probabilitas yang berkaitan masukan representasi latennya . Secara khusus, encoder memetakan input ke distribusi pada . Encoder tipikal akan menampilkan parameter , mewakili distribusi Gaussian ; distribusi ini digunakan sebagai perkiraan kami untuk .p ( x , z)hal(x,z)p(x,z)xxxzzzeeexxxzzz( μ , σ) = …

9 neural-networks  deep-learning  autoencoders  variational-bayes