Apa itu sampling penting?

Saya mencoba belajar penguatan dan topik ini benar-benar membingungkan saya. Saya telah mengambil pengantar statistik, tetapi saya tidak bisa memahami topik ini secara intuitif.

Pengambilan sampel kepentingan adalah suatu bentuk pengambilan sampel dari distribusi yang berbeda dari distribusi bunga sehingga untuk lebih mudah mendapatkan estimasi parameter yang lebih baik dari distribusi bunga. Biasanya ini akan memberikan perkiraan parameter dengan varians yang lebih rendah daripada yang akan diperoleh dengan mengambil sampel langsung dari distribusi asli dengan ukuran sampel yang sama.

Ini diterapkan dalam berbagai konteks. Secara umum, pengambilan sampel dari distribusi yang berbeda memungkinkan lebih banyak sampel untuk diambil dalam porsi distribusi bunga yang ditentukan oleh aplikasi (wilayah penting).

Salah satu contoh mungkin adalah Anda ingin memiliki sampel yang mencakup lebih banyak sampel dari ekor distribusi daripada sampel acak murni dari distribusi bunga akan memberikan.

The artikel wikipedia yang saya lihat tentang hal ini terlalu abstrak. Lebih baik untuk melihat berbagai contoh spesifik. Namun itu termasuk tautan ke aplikasi menarik seperti Bayesian Networks.

Salah satu contoh pengambilan sampel yang penting pada tahun 1940-an dan 1950-an adalah teknik reduksi varians (suatu bentuk Metode Monte Carlo). Lihat misalnya buku Metode Monte Carlo oleh Hammersley dan Handscomb yang diterbitkan sebagai Methuen Monograph / Chapman and Hall pada tahun 1964 dan dicetak ulang pada tahun 1966 dan kemudian oleh penerbit lain. Bagian 5.4 buku ini mencakup Pengambilan Sampel Penting.

Importance sampling adalah metode simulasi atau Monte Carlo yang ditujukan untuk perkiraan integral. Istilah "pengambilan sampel" agak membingungkan karena tidak bermaksud memberikan sampel dari distribusi yang diberikan.

Intuisi di balik sampel penting adalah bahwa integral yang didefinisikan dengan baik, seperti dapat dinyatakan sebagai harapan untuk berbagai distribusi probabilitas: Saya = E f [ H ( X ) ] = ∫ X H ( x ) f ( x

$$\mathfrak{I}=\int_\mathfrak{X} h(x)\,\text{d}x$$ mana f menunjukkan kepadatan distribusi probabilitas dan H ditentukan oleh h dan f . (Perhatikan bahwa H ( ⋅ ) biasanya berbeda dari h ( ⋅ ) .)Memang, pilihan H ( x ) = h ( x $$\mathfrak{I}=\mathbb{E}_f[H(X)]=\int_\mathfrak{X} H(x)f(x)\,\text{d}x$$ $f$$H$$h$$f$$H(\cdot)$$h(\cdot)$ mengarah ke persamaanH(x)f(x)=h(x)danI=Ef[H(X)]- dibawah beberapa batasan pada dukunganf, artinyaf(x)>0saath(x)≠0 $$H(x)=\dfrac{h(x)}{f(x)}$$ $H(x)f(x)=h(x)$$\mathfrak{I}=\mathbb{E}_f[H(X)]$$-$$f$$f(x)>0$$h(x)\ne 0$$-$. Oleh karena itu, seperti yang ditunjukkan oleh W. Huber dalam komentarnya, tidak ada kesatuan dalam representasi integral sebagai harapan, tetapi sebaliknya array yang tak terbatas dari representasi seperti itu, beberapa di antaranya lebih baik daripada yang lain sekali kriteria untuk membandingkan mereka diadopsi. Sebagai contoh, Michael Chernick menyebutkan memilih untuk mengurangi varians dari estimator.$f$

Setelah properti elementer ini dipahami, implementasi idenya adalah untuk bergantung pada Hukum Angka Besar seperti dalam metode Monte Carlo lainnya, yaitu, untuk mensimulasikan [melalui generator pseudo-acak] sampel iid didistribusikan dari f dan menggunakan pendekatan I = $(x_1,\ldots,x_n)$$f$yang

$$\hat{\mathfrak{I}}=\frac{1}{n} \sum_{i=1}^n H(x_i)$$

1. adalah penaksir yang tidak bias dari $\mathfrak{I}$
2. konvergen hampir pasti ke $\mathfrak{I}$

Tergantung pada pilihan distribusi , estimator atas saya mungkin atau mungkin tidak memiliki varians yang terbatas. Namun, selalu ada pilihan f yang memungkinkan untuk varian terbatas dan bahkan untuk varian kecil sewenang-wenang (meskipun pilihan itu mungkin tidak tersedia dalam praktik). Dan ada juga ada pilihan f yang membuat sampling pentingnya estimator saya pendekatan yang sangat miskin dari saya . Ini termasuk semua pilihan di mana varians menjadi tak terbatas, meskipun makalah baru-baru ini oleh Chatterjee dan Diaconis mempelajari bagaimana membandingkan sampler yang penting dengan varians yang tak terbatas. Gambar di bawah ini diambil dari$f$$\hat{\mathfrak{I}}$$f$$f$$\hat{\mathfrak{I}}$${\mathfrak{I}}$saya diskusi blog dari kertas dan menggambarkan konvergensi miskin estimator varians yang tak terbatas.

Pengambilan sampel penting dengan distribusi penting suatu Exp (1) distribusi target distribusi suatu Exp (1/10) distribusi, dan fungsi bunga . Nilai sebenarnya dari integral adalah 10 .$h(x)=x$$10$

[Berikut ini direproduksi dari buku kami Metode Statistik Monte Carlo .]

$f$

$$\int_\mathfrak{X} h(x) f(x)\,\text{d}x$$

$p$${\mathcal{C}}(0,1)$$2$

$$p = \int_2^{+\infty} \; {1\over \pi(1 + x^2)} \; \text{d}x \;.$$ $p$ $${\hat{p}}_1 = {1\over m} \; \sum_{j=1}^m \; \mathbb{I}_{X_{j} > 2}$$ $X_1,\ldots,X_m$ $\sim$ $\; \mathcal{C}(0,1)$$p(1-p)/m$$0.127/m$$p=0.15$

${\mathcal{C}}(0,1)$

$${\hat{p}}_2 = {1\over 2m} \; \sum_{j=1}^m \; \mathbb{I}_{|X_{j}| > 2}$$ $p(1-2p)/2m$$0.052/m$

$[2,+\infty)$$p$$p$

$$p = {1\over 2} - \int_0^2 \; {1\over \pi(1 + x^2)} \; \text{d}x \;,$$ $h(X) = 2/\pi(1 + X^2)$$X \sim {\mathcal{U}}_{[0, 2]}$$p$ $${\hat{p}}_3 = {1\over 2} - {1\over m} \; \sum_{j=1}^m \; h(U_j)$$ $U_j \sim {\mathcal{U}}_{[0,2]}$${\hat{p}}_3$$(\mathbb{E}[h^2] - \mathbb{E}[h]^2)/m$$0.0285/m$$p$ $$p = \int_0^{1/2} \; {y^{-2}\over \pi(1 + y^{-2})} \; \text{d}y \;,$$ ${1\over 4} \; h(Y) = 1/2\pi(1 + Y^2)$$[0,1/2]$$p$ $${\hat{p}}_4 = {1\over 4 m} \; \sum_{j=1}^m \; h(Y_j)$$ $Y_j \sim {\mathcal{U}}_{[0,1/2]}$${\hat{p}}_{4}$$0.95 \; 10^{-4}/m$

${\hat{p}}_1$${\hat p}_4$$10^{-3}$$\sqrt{1000} \approx 32$$\hat p_1$$\blacktriangleright$