Apa yang dimaksud dengan "variasi"?

Apakah penggunaan "variasi" selalu merujuk ke pengoptimalan melalui inferensi variasional?

Contoh:

• "Pengode-otomatis variasi"
• "Metode Bayesian Variasional"
• "Grup renasionalisasi variasi"

Ini berarti menggunakan inferensi variasional (setidaknya untuk dua yang pertama).

Singkatnya, ini adalah metode untuk memperkirakan kemungkinan maksimum ketika kepadatan probabilitas rumit (dan karenanya MLE sulit).

Ia menggunakan Evidence Lower Bound (ELBO) sebagai proksi ke ML:

$log(p(x)) \geq \mathbb{E}_q[log(p, Z)] - \mathbb{E}_q[log(q(Z))]$

Di mana adalah distribusi yang lebih sederhana pada variabel tersembunyi (dilambangkan dengan ) - misalnya autoencoder variasional menggunakan distribusi normal pada output encoder.$q$$Z$

Nama 'variasional' kemungkinan besar berasal dari fakta bahwa ia mencari distribusi yang mengoptimalkan ELBO, dan pengaturan ini adalah jenis seperti dalam kalkulus variasi , bidang yang mempelajari pengoptimalan fungsi (misalnya, masalah seperti: diberikan keluarga) kurva dalam 2D ​​antara dua titik, temukan satu dengan panjang terkecil).$q$

Ada tutorial yang bagus tentang inferensi variasional oleh David Blei yang dapat Anda periksa jika Anda ingin deskripsi yang lebih konkret.

EDIT:

Sebenarnya apa yang saya jelaskan adalah satu jenis VI: secara umum Anda bisa menggunakan divergensi berbeda (yang saya jelaskan berhubungan dengan menggunakan KL divergence ). Untuk detailnya lihat makalah ini , bagian 5.2 (VI dengan divergensi alternatif).$KL(q, p)$