Cara memilih sebelumnya dalam estimasi parameter Bayesian

Saya tahu 3 metode untuk melakukan estimasi parameter, pendekatan ML, MAP dan Bayes. Dan untuk pendekatan MAP dan Bayes, kita perlu memilih prior untuk parameter, kan?

Katakanlah saya memiliki model ini , di mana adalah parameter, untuk melakukan estimasi menggunakan MAP atau Bayes, saya membaca di buku bahwa kita sebaiknya memilih konjugat sebelumnya , yang merupakan probabilitas gabungan , kan? $p(x|\alpha,\beta)$ $\alpha,\beta$ $p(\alpha,\beta)$ $\alpha,\beta$

Saya punya 2 pertanyaan:

Apakah kita memiliki pilihan lain memilih yang sebelumnya selain yang konjugat ini?
Bisakah kita memilih prior untuk dan masing-masing seperti dan , selain menempatkannya bersama-sama dalam satu sambungan? $\alpha$ $\beta$ $p(\alpha)$ $p(\beta)$

bayesian estimation prior

— alpukat
sumber

Bergantung pada perangkat lunak apa yang akan Anda gunakan, prior tentu saja tidak harus konjugasi dengan fungsi kemungkinan ... pertama dan terutama, Anda harus memastikan bahwa prior Anda mewakili keyakinan Anda sebelumnya tentang distribusi parameter

— Patrick Coulombe

Jadi saya hanya bisa memilih prior masing-masing untuk parameter, kan? SEBENARNYA Saya hanya mencoba memahami regresi linier baysian, tidak ada perangkat lunak khusus yang dipertimbangkan

— alpukat

Lihatlah

— pemilihan

Jawaban:

Sebagaimana dinyatakan dalam komentar, distribusi sebelumnya mewakili keyakinan sebelumnya tentang distribusi parameter.

Ketika keyakinan sebelumnya benar-benar tersedia, Anda dapat:

mengonversinya dalam bentuk momen (mis. mean dan varians) agar sesuai dengan distribusi umum untuk momen ini (mis. Gaussian jika parameter Anda terletak pada garis nyata, Gamma jika terletak pada ). $R^+$
gunakan pemahaman intuitif Anda tentang keyakinan-keyakinan ini untuk mengusulkan distribusi yang diberikan sebelumnya dan periksa apakah itu benar-benar sesuai dengan tujuan Anda dan bahwa itu tidak peka terhadap pilihan yang sewenang-wenang (melakukan analisis ketahanan atau sensibilitas)

Ketika tidak ada keyakinan eksplisit sebelumnya yang tersedia, Anda dapat:

memperoleh (atau hanya menggunakan jika sudah tersedia, sumber daya yang bagus adalah http://www.stats.org.uk/priors/noninformative/YangBerger1998.pdf ) a Jeffreys (misalnya seragam untuk parameter lokasi) atau referensi sebelumnya (terutama di kasus parameter multivarian).
$g$

$p(a,b)$ $p(a) \cdot p(b)$

berhati-hatilah bahwa posterior Anda dapat diintegrasikan hampir di mana-mana (atau layak), yang selalu benar jika Anda menggunakan sebelumnya yang dapat diintegrasikan (lihat Apakah posterior Bayesian perlu menjadi distribusi yang tepat? untuk lebih jelasnya),
batasi dukungan sebelum Anda hanya jika Anda sangat percaya diri pada batas-batas dukungan (jadi hindari melakukannya).
dan last but not least, pastikan (sebagian besar waktu secara eksperimental) bahwa pilihan Anda sebelumnya berarti apa yang ingin Anda ungkapkan. Menurut pendapat saya, tugas ini terkadang lebih kritis. Jangan pernah lupa, bahwa ketika melakukan inferensi, prior tidak berarti apa-apa dengan sendirinya, Anda harus mempertimbangkan posterior (yang merupakan kombinasi dari prior dan likelihood).

— peuhp
sumber

Terima kasih banyak, bisakah Anda merekomendasikan saya beberapa hal tutorial tentang cara melakukan inferensi bayesian semacam ini?

— alpukat

@loganecolss Sama-sama, saya sempat kehilangan beberapa bulan yang lalu dan posting ini hanyalah ringkasan dari belajar mandiri saya dan saya senang jika itu dapat membantu orang lain. Mengenai pertanyaan Anda, apa yang Anda maksud dengan "inferensi bayesian semacam ini"?

— peuhp

Saya juga mempelajari mesin belajar mandiri, saya tahu ML, tetapi pendekatan bayesian ini dari estimasi parameter adalah hal baru bagi saya, harap Anda dapat menunjukkan kepada saya beberapa materi untuk mempelajari estimasi dan inferensi bayesian, ;-)

— alpukat

@loganecolss, Ini adalah ringkasan yang bagus dari MLE, MAP, dan kesimpulan Bayesian. Dan tautan ini memberikan ringkasan yang bagus tentang bagaimana memasukkan kesimpulan sebelum Bayesian untuk distribusi binomial.

— Zhubarb

Sebuah elaborasi minor: A sebelum benar mewakili sebuah set konsisten keyakinan tentang parameter. Mereka tidak harus menjadi keyakinan Anda . Memang model seringkali lebih persuasif ketika mereka beberapa model lain.

— conjugateprior

Ada juga Bayes empiris. Idenya adalah untuk menyempurnakan sebelum data:

{max}_{p (z)} \int p (D | z) p (z) d z

$\text{max}_{p(z)} \int p(\mathcal{D}|z)p(z) dz$

Meskipun ini mungkin tampak canggung pada awalnya, sebenarnya ada hubungan dengan panjang deskripsi minimum. Ini juga merupakan cara khas untuk memperkirakan parameter kernel dari proses Gaussian.

— bayerj
sumber

Untuk menjawab dua pertanyaan di atas secara langsung:

Anda memiliki pilihan lain untuk memilih prior non-konjugat selain dari konjugat. Masalahnya adalah bahwa jika Anda memilih prior non-konjugat, Anda tidak dapat membuat inferensi Bayesian yang tepat (sederhananya, Anda tidak dapat memperoleh posterior bentuk dekat). Sebaliknya, Anda perlu membuat perkiraan inferensi atau menggunakan metode pengambilan sampel seperti pengambilan sampel Gibbs, pengambilan sampel Penolakan, MCMC, dll. Untuk menurunkan Anda posterior. Masalah dengan metode pengambilan sampel adalah bahwa secara intuitif, itu seperti menggambar gambar gajah dalam kegelapan dengan menyentuhnya berulang kali ---- Anda mungkin bias dan tidak lengkap. Alasan orang memilih non-konjugat sebelum adalah karena kemungkinan tertentu, opsi konjugat sebelumnya sangat terbatas, atau untuk mengatakan, sebagian besar adalah non-konjugat.
Ya, Anda pasti bisa. Jika α dan β independen, yang merupakan kondisi idealis, Anda dapat memperoleh distribusi bersama mereka dengan p (α) p (β). Jika mereka tidak independen, Anda mungkin perlu mencari tahu probabilitas bersyarat dan melakukan integral untuk memperoleh distribusi bersama.

— talenta
sumber