Distribusi proposal matriks kovarian

8

Dalam implementasi MCMC model hirarkis, dengan efek acak normal dan Wishart sebelum matriks kovariannya, sampling Gibbs biasanya digunakan.

Namun, jika kita mengubah distribusi efek acak (mis. Ke Student's-t atau yang lain), konjugasinya hilang. Dalam hal ini, apa yang akan menjadi distribusi proposal yang sesuai (yaitu mudah ditembus) untuk matriks kovarians dari efek acak dalam algoritma Metropolis-Hastings, dan apa yang seharusnya menjadi tingkat penerimaan target, lagi 0,234?

Terima kasih sebelumnya untuk petunjuk apa pun.

mcmc hierarchical-bayesian metropolis-hastings

— Kios Toka
sumber

16

Nah, jika Anda mencari "untuk petunjuk" ...

Distribusi Wishart (skala) (terbalik) sering digunakan karena berkonjugasi dengan fungsi kemungkinan multivarian dan dengan demikian menyederhanakan pengambilan sampel Gibbs.

Di Stan , yang menggunakan pengambilan sampel Hamiltonian Monte Carlo, tidak ada batasan untuk prior multivarian. Pendekatan yang disarankan adalah strategi pemisahan yang disarankan oleh Barnard, McCulloch dan Meng : mana adalah vektor std devs dan adalah matriks korelasi.

Σ = diag_matrix (σ) Ω diag_matrix (σ)

$\Sigma=\text{diag_matrix}(\sigma)\;\Omega\;\text{diag_matrix}(\sigma)$

σ

$\sigma$

Ω

$\Omega$

Komponen dapat diberikan sebelumnya yang masuk akal. Untuk , prior yang disarankan adalah mana "LKJ" berarti Lewandowski, Kurowicka dan Joe . Ketika meningkat, sebelumnya semakin terkonsentrasi di sekitar matriks korelasi satuan, pada distribusi korelasi LKJ berkurang ke distribusi identitas di atas matriks korelasi. Karenanya, LKJ sebelumnya dapat digunakan untuk mengontrol jumlah korelasi yang diharapkan di antara parameter-parameter tersebut. $\sigma$ $\Omega$

Ω \sim LKJcorr (ν)

$\Omega\sim\text{LKJcorr}(\nu)$

ν

$\nu$

ν = 1

$\nu=1$

Namun, saya belum (belum) mencoba distribusi efek acak yang tidak normal, jadi saya harap saya tidak melewatkan intinya ;-)

— Sergio
sumber

Jawaban ini berbicara tentang sebelumnya, OP bertanya tentang proposal ... Apakah prior ini membantu dengan rasio penerimaan dalam beberapa cara?

— Seorang pria tua di laut.

@ Scorax Bagaimana dengan proposal yang diminta OP? apa yang harus dia gunakan, dan dengan parameter apa?

— Seorang pria tua di laut.

1

Saya pribadi menggunakan proposal Wishart. Misalnya, jika saya ingin proposal sekitar , saya menggunakan: mana adalah angka yang besar, seperti 1000. Dengan trik itu Anda akan mendapatkan dan Anda dapat menyesuaikan varians dengan . Jika saya tidak salah, rasio proposal untuk matriks memiliki bentuk tertutup: $\Sigma^*$ $\Sigma$

Σ^{*} \sim W (Σ / a, a),

$\Sigma^* \sim \mathcal{W}(\Sigma/a,a),$

a

$a$

E [Σ^{*}] = Σ

$E[\Sigma^*]=\Sigma$

a

$a$

(p \times p)

$(p\times p)$

\frac{q (Σ \to Σ^{*})}{q (Σ^{*} \to Σ)} = {(\frac{| Σ^{*} |}{| Σ |})}^{a - (p - 1) / 2} \cdot e^{[t r ({Σ^{*}}^{- 1} Σ) - t r (Σ^{- 1} Σ^{*})] \cdot a / 2}

$\frac{q(\Sigma\to\Sigma^*)}{q(\Sigma^*\to\Sigma)} = \left(\frac{|\Sigma^*|}{|\Sigma|}\right)^{a-(p-1)/2} \cdot e^{[tr({\Sigma^*}^{-1}\Sigma)-tr({\Sigma}^{-1}\Sigma^*)] \cdot a/2}$

— RemiDav
sumber

0

Diketahui bahwa jika Anda menggunakan distribusi non-Gaussian, konjugasi model hilang, lihat:

http://www.utstat.toronto.edu/wordpress/WSFiles/technicalreports/0610.pdf

Kemudian, Anda perlu menggunakan metode MCMC lainnya, seperti Metropolis dalam sampling Gibbs atau versi adaptifnya. Untungnya, ada paket R untuk melakukannya:

http://cran.r-project.org/web/packages/spBayes/index.html

Tingkat penerimaan yang disarankan adalah 0,44 tetapi, tentu saja, ada beberapa asumsi di balik angka ini, sama seperti dalam kasus 0,234.

Apakah Anda THE Dimitris Rizopoulos?

— Teco
sumber

@ DimitrisRizopoulos Metropolis adaptif dengan Gibbs yang saya sebutkan menggunakan campuran distribusi Gaussian yang terbatas sebagai distribusi proposal (sebagaimana dinyatakan dalam laporan teknis yang saya posting). Jika Anda menggunakan hardcore Metropolis, maka Anda meminta jawaban atas "pertanyaan juta dolar", yang tidak ada solusi umum. Biasanya Anda harus bermain dengan proposal yang berbeda dan tingkat penerimaan yang berbeda. Buku yang sangat bagus.

— Teco

0

Setiap proposal dapat digunakan jika Anda mendefinisikan log-posterior Anda dengan benar. Anda hanya perlu menggunakan beberapa trik untuk mengimplementasikannya dan mendefinisikan dengan tepat dukungan posterior Anda, lihat:

Bagaimana menemukan dukungan distribusi posterior untuk menerapkan algoritma MCMC Metropolis-Hastings?

Ada banyak contoh di mana proposal Gaussian dapat digunakan untuk eksterior terpotong. Ini hanya trik implementasi. Sekali lagi, Anda mengajukan pertanyaan tanpa solusi umum. Beberapa proposal bahkan memiliki kinerja yang berbeda untuk model dan set data yang sama.

Semoga berhasil.

— Meth
sumber

Nah, dengan mempertimbangkan bahwa matriks kovarian harus pasti positif, tampaknya tidak logis bagi saya untuk menggunakan distribusi proposal apa pun. Matriks yang diusulkan harus pasti positif. Salah satu pilihan adalah mengajukan proposal dengan syarat posterior Wishart yang digunakan dalam pengambilan sampel Gibbs, namun ini tampaknya tidak bekerja dengan baik ketika saya mengasumsikan siswa-t untuk efek acak. Oleh karena itu pertanyaan saya, apakah ada jenis proposal lain untuk matriks kovarian?

— Toka Stall