Hasil pada estimasi Monte Carlo dihasilkan oleh sampling penting

Saya telah bekerja pada sampel penting cukup dekat selama setahun terakhir dan memiliki beberapa pertanyaan terbuka yang saya harap dapat membantu.

Pengalaman praktis saya dengan skema sampel penting adalah bahwa mereka kadang-kadang dapat menghasilkan estimasi varians rendah dan bias rendah yang fantastis. Namun, lebih sering, mereka cenderung menghasilkan perkiraan kesalahan tinggi yang memiliki varians sampel rendah tetapi bias sangat tinggi.

Saya bertanya-tanya apakah ada yang bisa menjelaskan dengan tepat faktor-faktor apa yang memengaruhi validitas estimasi kepentingan sampel? Secara khusus, saya bertanya-tanya:

1) Apakah estimasi sampling kepentingan dijamin akan menyatu dengan hasil yang benar ketika distribusi biasing memiliki dukungan yang sama dengan distribusi asli? Jika demikian, mengapa hal ini tampaknya membutuhkan waktu lama dalam praktik?

2) Apakah ada hubungan kuantitatif antara kesalahan dalam estimasi yang dihasilkan melalui sampling penting dan "kualitas" distribusi biasing (yaitu seberapa cocok dengan distribusi zero-variance)

3) Sebagian didasarkan pada 1) dan 2) - apakah ada cara untuk mengukur 'berapa banyak' yang harus Anda ketahui tentang distribusi sebelum Anda lebih baik menggunakan desain sampel penting daripada metode Monte Carlo sederhana.

monte-carlo information-theory importance-sampling

— Berk U.
sumber

Jawaban:

Importance sampling memiliki validasi yang persis sama dengan pendekatan dasar Monte Carlo. Pada intinya, itu adalah dasar Monte Carlo . Memang, itu hanyalah perubahan ukuran referensi, dari ke

\int h (x) f (x) d x

$\int h(x) f(x) \text{d}x$

Jadi konvergensi dijamin oleh hukum angka besar dalam kedua kasus, yaitu apakah Anda mensimulasikan dari

atau dari

. Selain itu, jika istilah

\int h (x) \frac{f (x)}{g (x)} g (x) d x

$\int h(x) \dfrac{f(x)}{g(x)} g(x) \text{d}x$

f

$f$

g

$g$

terbatas, teorema batas pusat juga berlaku dan kecepatan konvergensi adalah

\int h^{2} (x) \frac{f^{2} (x)}{g (x)} d x

$\int h^2(x) \dfrac{f^2(x)}{g(x)} \text{d}x$

. Jika "memakan waktu begitu lama dalam praktek", itu karena faktor varians di atas dalam CLT bisa sangat besar. Tapi, dan saya bersikeras, kecepatannya sama dengan Monte Carlo biasa,

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

Kualitas distribusi sampel yang penting dengan demikian secara langsung terkait dengan faktor varians di atas, yang masuk ke nol untuk "distribusi varians nol" sebanding dengan . $|h(x)|f(x)$

— Xi'an
sumber

Saya curiga, mengingat bahwa OP melaporkan penduga varians kecil yang bias, tetapi tampaknya memiliki varians kecil, bahwa ia mungkin bertanya tentang pengambilan sampel kepentingan yang dinormalisasi sendiri. Lihat kata - kata kasar Radford Neal pada estimator rata-rata Harmonik untuk contoh yang baik, yang mengambil apa yang akan menjadi estimasi pengambilan sampel penting dengan 0 varian, dan mengembalikan omong kosong. Saya tidak yakin bahwa ini tidak pernah terjadi dalam sampling kepentingan reguler, tetapi ini tentu jarang terjadi.

— deinst

Bahkan jika ini bukan niat OP, saya akan tertarik pada beberapa petunjuk tentang bagaimana mencari tahu kapan normalisasi diri akan menjadi sangat salah.

— deinst

@deinst Saya tidak mengetahui prosedur normalisasi diri dan kesulitannya, jadi terima kasih untuk ini! Bagaimanapun, saya pikir masalahnya mungkin relevan dengan properti skema IS saya, jadi saya ingin mengeksplorasi ide ini lebih banyak lagi jika ada di antara Anda yang memiliki ide.

— Berk U.

g (x)

$g(x)$

M

$M$

x_{1} . . x_{M}

$x_1..x_M$

g^{*} (x) = h (x) f (x) / \int h (x) f (x) d x

$g^*(x) = h(x)f(x)/\int{h(x)f(x)dx}$

x_{1} . . x_{M}

$x_1..x_M$

\hat{g (x)}

$\hat{g(x)}$

\hat{g (x)}

$\hat{g(x)}$

N

$N$

y_{1} . . . y_{N}

$y_1...y_N$

Menggunakan estimasi non-parametrik memperkenalkan variabilitas orde yang lebih tinggi daripada variabilitas Monte Carlo, jadi saya tidak akan menyarankannya.

— Xi'an

$f$ $g$

δ = \int h (x) f (x) d x

$\delta=\int h(x)f(x)\text{d}x$

x_{1}, \dots, x_{n}

$x_1,\ldots,x_n$

g (x)

$g(x)$

\hat{δ} = \frac{\sum_{i = 1}^{n} h (x) f (x) / g (x)}{\sum_{i = 1}^{n} f (x) / g (x)} .

$\hat{\delta}=\frac{\sum_{i=1}^n h(x)f(x)/g(x)}{\sum_{i=1}^n f(x)/g(x)}.$

X / Y

$X/Y$

ω (X) = f (x) / g (X)

$\omega(X)=f(x)/g(X)$

E_{g} (\hat{δ}) \approx δ + \frac{δ {Var}_{g} (ω (X)) - {Cov}_{g} (ω (X), h (X) ω (X))}{n}

$E_g(\hat{\delta})\approx \delta + \frac{\delta \text{Var}_g(\omega(X))-\text{Cov}_g(\omega(X),h(X)\omega(X))}{n}$

{Var}_{g} (\hat{δ}) \approx \frac{{Var}_{g} (h (X) ω (X)) - 2 δ {Cov}_{g} (ω (X), h (X) ω (X)) + δ^{2} {Var}_{g} (ω (X))}{n} .

$\text{Var}_g(\hat{\delta})\approx\frac{\text{Var}_g(h(X)\omega(X))-2\delta\text{Cov}_g(\omega(X),h(X)\omega(X))+\delta^2\text{Var}_g(\omega(X))}{n}.$

Jadi, secara intuitif, untuk mendapatkan bias kecil dan varian kecil, Anda inginkan $\text{Var}_g(\omega(X))$ menjadi kecil dan $\text{Cov}_g(\omega(X),h(X)\omega(X))$ menjadi positif. Sayangnya perkiraan ini tidak sempurna (dan secara akurat menentukan varians dan kovarian cenderung sesulit memecahkan masalah awal).

— Deinst
sumber

Terima kasih untuk ini. Saya hanya sedikit tidak yakin tentang notasi / tidak yakin apakah ada kesalahan ketik. Untuk memperjelas, apa sebenarnya itu

X / Y

$X/Y$ dan

G

$G$ dalam penjelasan anda?

— Berk U.

@ BerkUstun Ibu kota G adalah kesalahan ketik untuk yang kecil yang akan saya segera perbaiki. X / Y hanyalah rasio generik dari variabel acak. IIRC semua ini dijelaskan dalam buku Monte Carlo milik Liu (sesuatu dengan judul ilmiah.)

— deinst

@deinst: Poin bagus! Memang, sifat-sifat dari versi yang dinormalisasi-sendiri sangat berbeda dari sifat-sifat dari penduga sampling kepentingan yang tidak bias. Secara teori, seseorang akan memerlukan sampler kepentingan terpisah untuk memperkirakan penyebutnya.

— Xi'an