Mengapa diinginkan untuk memiliki korelasi otomatis yang rendah di MCMC?

11

Saya terus membaca tentang perlunya memeriksa autokorelasi di MCMC. Mengapa autokorelasi itu penting? Apa yang diukur dalam konteks MCMC?

sampling autocorrelation mcmc

— Amelio Vazquez-Reina
sumber

3

Bahkan, jika seseorang dapat menghasilkan autokorelasi negatif yang tinggi dalam MCMC sampler, sampler ini akan membaik setelah pengambilan sampel iid. Namun ini adalah kejadian yang sangat jarang ...

— Xi'an

4

Autokorelasi adalah ukuran seberapa besar nilai suatu sinyal berkorelasi dengan nilai lain dari sinyal itu pada titik waktu yang berbeda. Dalam konteks MCMC, autokorelasi adalah ukuran seberapa independen sampel yang berbeda dari distribusi posterior Anda - autokorelasi yang lebih rendah menunjukkan hasil yang lebih independen.

Ketika Anda memiliki autokorelasi tinggi, sampel yang telah Anda ambil tidak secara akurat mewakili distribusi posterior dan karena itu tidak memberikan informasi yang bermakna untuk solusi untuk masalah tersebut. Dengan kata lain, autokorelasi yang lebih rendah berarti efisiensi yang lebih tinggi dalam rantai Anda dan perkiraan yang lebih baik. Aturan umum adalah bahwa semakin rendah autokorelasi Anda, semakin sedikit sampel yang Anda butuhkan agar metode menjadi efektif (tetapi itu mungkin terlalu menyederhanakan).

— Henry Hammond
sumber

Saya tidak memiliki banyak latar belakang dengan MCMC tetapi kalimat terakhir Anda sepertinya tidak terlalu menyederhanakan. Jika Anda melihat efek korelasi-otomatis pada perkiraan kesalahan Anda, mereka mengubah nilai dari ke mana adalah waktu autokorelasi yang diukur pada dapat diamati. Jadi itu adalah seperti memiliki hanya 'pengukuran yang efektif' bukan . Apakah masih ada penyederhanaan yang berlebihan dalam pernyataan ini?

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

— Belajar berantakan

10

Pertama, dan yang paling jelas, jika autokorelasi tinggi maka N sampel tidak memberi Anda N informasi tentang distribusi Anda tetapi lebih sedikit dari itu. Ukuran Sampel Efektif (ESS) adalah salah satu ukuran seberapa banyak informasi yang benar-benar Anda dapatkan (dan merupakan fungsi dari parameter autokorelasi).

Terkait, autokorelasi memberi Anda sampel tidak representatif 'dalam jangka pendek'. Selain itu, semakin banyak autokorelasi di sana, semakin lama 'jangka pendek' itu. Untuk autokorelasi yang sangat kuat, jangka pendek mungkin merupakan sebagian kecil dari total sampel Anda. Pemulihan langsung yang biasa adalah parameterisasi ulang atau parameter pengambilan sampel yang Anda perkirakan saling terkait dalam blok daripada secara terpisah karena jika tidak mereka akan menghasilkan autokorelasi dalam rantai. Orang sering juga 'kurus', walaupun ada beberapa diskusi tentang seberapa bermanfaat hal ini dalam menyelesaikan masalah yang mendasarinya, misalnya di sini . Kass 1997 adalah diskusi informal tentang masalah ini, meskipun mungkin ada sesuatu yang lebih baru yang dapat direkomendasikan orang lain.

Singkatnya, rantai yang sangat berkorelasi otomatis membutuhkan waktu lebih lama dari kondisi awalnya hingga distribusi target yang Anda inginkan, sementara kurang informatif dan membutuhkan waktu lebih lama untuk mengeksplorasi distribusi itu ketika sampai di sana.

— conjugateprior
sumber