Cara menyebarkan undian secara optimal saat menghitung beberapa harapan

Misalkan kita ingin menghitung beberapa harapan:

E_{Y} E_{X | Y} [f (X, Y)]

$E_YE_{X|Y}[f(X,Y)]$

Misalkan kita ingin memperkirakan ini menggunakan simulasi Monte Carlo.

E_{Y} E_{X | Y} [f (X, Y)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

TAPI kira itu mahal untuk menarik sampel dari kedua distribusi, sehingga kita hanya mampu untuk menarik nomor tetap . $K$

Bagaimana seharusnya kita mengalokasikan ? Contohnya termasuk undian untuk setiap distribusi, atau dalam ekstrem, satu undian di bagian luar dan undian di bagian dalam, sebaliknya dll. $K$ $K/2$ $K-1$

Intuisi saya memberi tahu saya bahwa itu harus dilakukan dengan varian / entropi dari distribusi relatif satu sama lain. Misalkan luar satu adalah titik massa, maka pembagian yang meminimalkan kesalahan MC akan menarik 1 dari dan menarik dari . $K$ $Y$ $K-1$ $X|Y$

Semoga ini jelas.

— wolfsatthedoor
sumber

Memperbaikinya untuk Anda

— wolfsatthedoor

The "sebaliknya" dan komentar Anda ke @ Xi'ans jawaban tampaknya menunjukkan bahwa Anda menganggap mungkin untuk menggambar variabel luar lebih dari kali variabel batin, tapi bagaimana itu masuk akal - tidak semua outers yang inner ditarik sia-sia?

0

$0$

— Juho Kokkala

Cukup adil, minimal satu imbang per luar kurasa. Atau Anda bisa memikirkan memprogramnya untuk menyimpan undian yang saya kira

— wolfsatthedoor atau

@robertevansanders Harap konfirmasikan apakah interpretasi pertanyaan Anda dalam dua kalimat pertama jawaban Xi'ans benar

— Juho Kokkala

Seperti yang Anda katakan, ya, tapi ganti y dan x

— wolfsatthedoor

Ini adalah pertanyaan yang sangat menarik dengan sedikit dokumentasi dalam literatur Monte Carlo, kecuali sehubungan dengan stratifikasi dan Rao-Blackwellisation . Hal ini mungkin disebabkan oleh fakta bahwa perhitungan varian bersyarat yang diharapkan dan varian harapan bersyarat jarang layak.

Pertama, mari kita asumsikan Anda menjalankan simulasi dari , dan untuk setiap simulasi , Anda menjalankan simulasi dari , . Estimasi Monte Carlo Anda adalah $R$ $\pi_X$ $x_1,\ldots,x_R$ $x_r$ $S$ $\pi_{Y|X=x_r}$ $y_{1r},\ldots,y_{sr}$ Varian estimasi ini didekomposisi sebagai berikut

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$

Oleh karena itu jika seseorang ingin meminimalkan varians ini pilihan yang optimal adalah

. Menyiratkan bahwa

. Kecuali ketika istilah varians pertama adalah nol, dalam hal ini tidak masalah. Namun, seperti yang dibahas dalam komentar, asumsi

tidak realistis karena tidak memperhitungkan produksi satu

[atau menganggap ini gratis].

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} f (x_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} + \frac{1}{R S^{2}} E_{X} {var}_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ = \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{K} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$

R = K

$R=K$

S = 1

$S=1$

K = R S

$K=RS$

x_{r}

$x_r$

Sekarang mari kita asumsikan biaya simulasi yang berbeda dan kendala anggaran , yang berarti bahwa 's biaya lebih kali untuk mensimulasikan daripada ' s. Dekomposisi varians di atas adalah $R+aRS=b$ $y_{rs}$ $a$ $x_r$ yang dapat diminimalkan dalamsebagai

\frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R (b - R) / Sebuah R} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$

R

$R$

[bilangan bulat terdekat di bawah kendala

dan

], kecuali jika varians pertama adalah sama dengan nol, dalam hal

. Saat

R^{*} = b / 1 + {Sebuah E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}} / {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$

R \geq 1

$R\ge 1$

S \geq 1

$S\ge 1$

R = 1

$R=1$

, varians minimum sesuai dengan

maksimum, yang mengarah ke

dalam formalisme saat ini.

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$

R

$R$

S = 1

$S=1$

Perhatikan juga bahwa solusi ini harus dibandingkan dengan solusi simetris ketika integral dalam diberikan dan integral luar terhadap marginal di (dengan asumsi simulasi juga layak dalam urutan ini). $X$ $Y$ $Y$

$S(x_r)$ $x_r$ $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$

— Xi'an
sumber

K = R S

$K=RS$

K = R S + R

$K=RS+R$

x

$x$

y

$y$

R

$R$

X

$X$

Y

$Y$

K - 1

$K-1$

K / 2

$K/2$

Y

$Y$

K / 2

$K/2$

S = 1

$S=1$

@ Xi'an ya Kolkata benar, solusi Anda umumnya tidak bisa bertahan. Misalkan sekarang bahwa variabel bagian dalam memiliki distribusi yang merosot dan bagian luar memiliki varian yang berarti, maka Anda ingin sampel sesedikit mungkin menarik bagian dalam

— wolfsatthedoor

Saya pikir jawaban Anda tidak benar. Misalkan distribusi di dalam merosot dan di luar adalah varian besar, bagaimana S bisa 1

— wolfsatthedoor atau

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$

R^{*} = b

$R^*=b$

R

$R$

S \geq 1

$S\ge 1$

R (1 + a S) \leq b

$R(1+aS)\le b$

S = 1

$S=1$

R

$R$

b

$b$ .

— Xi'an