Bayesian vs Entropi maksimum

Misalkan jumlah yang ingin kita simpulkan adalah distribusi probabilitas. Yang kita tahu adalah bahwa distribusi berasal dari himpunan ditentukan, katakanlah, pada beberapa momennya dan kami memiliki sebelumnya . $E$ $Q$

Prinsip entropi maksimum (MEP) mengatakan bahwa yang memiliki entropi relatif paling rendah dari (yaitu, ) adalah yang terbaik untuk dipilih. Sedangkan aturan seleksi Bayesian memiliki proses pemilihan posterior mengingat prior yang didukung oleh teorema Bayes. $P^{\star}\in E$ $Q$ $P^{\star}=\displaystyle \text{argmin}_{P\in E}D(P\|Q)$

Pertanyaan saya adalah apakah ada hubungan antara kedua metode inferensi ini (yaitu, apakah kedua metode tersebut berlaku untuk masalah yang sama dan memiliki kesamaan)? Atau apakah dalam inferensi Bayesian pengaturan sama sekali berbeda dari pengaturan yang disebutkan di atas? Atau aku tidak masuk akal ?!

bayesian estimation maximum-entropy

— Ashok
sumber

Apakah Q distribusi di atas E?

— Simon Byrne

Apakah Anda bermaksud bertanya, apakah ? Tidak perlu.

Q \in E

$Q\in E$

— Ashok

Anda mungkin menemukan pertanyaan ini berguna: stats.stackexchange.com/q/4978/495

— Simon Byrne

Robin, faktanya aku tidak tahu metode inferensi Bayesian sepenuhnya. Kalau tidak, pertanyaan ini bahkan tidak akan muncul pada saya. Sekarang saya mencoba mencari waktu untuk belajar tentang Bayesian. Yang saya tahu (kira-kira) adalah bahwa menggunakan teorema Bayes jika beberapa informasi sebelumnya dan tambahan diberikan, seseorang dapat memperbarui probabilitas. Saya tidak tahu ini dengan seksama. Padahal saya tahu MaxEnt dengan keras apa artinya. Jika mungkin, tolong jelaskan atau arahkan saya (yaitu, tunjuk beberapa referensi) untuk mempelajari inferensi Bayesian dengan seksama. Terima kasih.

— Ashok

@Ashok koneksi yang paling sering Anda cari muncul dari deskripsi set cembung dengan ukuran probabilitas pada titik-titik ekstremnya (Teori Choquet).

— robin girard

Ini mungkin datang terlambat, tetapi pertanyaan harus diulang: seperti yang didefinisikan oleh Jaynes , entropi maksimum adalah cara untuk membangun distribusi sebelumnya yang (a) memenuhi kendala yang diberlakukan oleh dan (b) memiliki entropi maksimum, relatif terhadap ukuran referensi dalam kasus berkelanjutan: Dengan demikian, entropi maksimum (Jaynes ') jelas merupakan bagian dari kotak peralatan Bayesian. Dan entropi maksimum sebelum tidak memberikan distribusi sebelumnya yang paling dekat dengan prior sebelumnya, seperti yang disarankan oleh pertanyaan Ashok . $E$

\int - \log [π (θ)] d μ (θ) .

$\int -\log [ \pi(\theta) ] \text{d}\mu(\theta)\,.$

Bayesian inferensi tentang distribusi adalah masalah yang sama sekali berbeda, ditangani oleh Bayesian non-parametrik (lihat, misalnya, buku terbaru oleh Hjort et al.). Hal ini membutuhkan pengamatan dari , yang tampaknya tidak menjadi latar dari pertanyaan saat ini ... $Q$ $Q$

— Xi'an
sumber