Pelacakan kemungkinan aneh dari rantai MCMC

Aku punya model yang berjalan: Single parameter -> Complex likelihood function -> Log-likelihood. Saya mengeksekusi rantai MCMC (menggunakan pymc) dan merencanakan jejak parameter dan log-likelihood. Estimasi parameter akhirnya masuk akal, tetapi plot log-likelihood tampak aneh bagi saya.

Kemungkinan log tidak pernah melampaui nilai tertentu. Saya kira ini masuk akal, jika nilai itu adalah nilai kemungkinan maksimum, tapi saya belum pernah melihat jejak kemungkinan yang terlihat seperti ini sebelumnya. pertanyaan saya adalah: apakah ini normal?

mcmc likelihood

— C_Z_
sumber

Saya menjawab pertanyaan Anda tetapi saya melihat bahwa Anda memulai hadiah untuk itu. Apakah ini berarti jawaban saya tidak memuaskan dan Anda mencari sesuatu yang lebih? Jika demikian, mengapa itu tidak menjawab pertanyaan Anda? Apa jawaban yang Anda cari? Saya akan senang mengeditnya jika tidak jelas dll.

— Tim

Sulit dijawab tanpa mengetahui lebih detail tentang masalah Anda. Selain Q0, apa ruang negara Anda? Metode MCMC mana yang Anda gunakan? Jika Anda memperbesar jejak log-kemungkinan, apakah itu berosilasi di bawah maks (dengan osilasi kecil) atau apakah Anda benar-benar mendapatkan banyak sampel tepat pada nilai maks? Adakah detail yang bisa Anda berikan tentang kemungkinan itu?

— lacerbi

Log-likelihood adalah jumlah log-density pada beberapa titik data, mengingat beberapa nilai parameter. Ingat bahwa kepadatan adalah ukuran relatif dari "probabilitas per kaki" . Ini berarti bahwa mereka dapat sewenang-wenang rendah, atau tinggi, seperti dalam contoh kepadatan seragam ini . Karena Anda menjumlahkan taksiran kerapatan untuk titik yang berbeda mereka akan selalu setidaknya $N$ kali nilai minimal yang dimungkinkan mengingat data dan parameter Anda. Karena algoritma MCMC Anda berkeliaran di beberapa ruang parameter, kesamaan log-kemungkinan akan sebanding dengan seberapa "jauh" itu melompat dalam langkah-langkah berikutnya. Jadi, mengingat informasi yang Anda berikan terbatas, tidak ada yang aneh dalam nilai-nilai tersebut karena tidak ada nilai kemungkinan "khas".

— Tim
sumber