Keuntungan dari banyak simulasi di Monte Carlo kuno?

Semangat pertanyaan ini berasal dari "Monte Carlo Biasa", yang juga dikenal sebagai "Monte Carlo kuno yang baik"

Misalkan saya punya variabel acak $X$, dengan

$$\mu := E[X]\\ \sigma^2:=Var[X]$$

Keduanya adalah nilai yang tidak diketahui, karena fungsi distribusi probabilitas $X$ tidak diketahui (atau komputasinya sulit dilakukan).

Either way, misalkan kita dapat mensimulasikan entah bagaimana $n$ menarik $X_1,X_2,\dots,X_n$ (ini independen dan terdistribusi secara identik) dari distribusi $X$. Mari kita tentukan parameter sampel

$$\hat{\mu}_n := \frac{1}{n}\sum_{i=1}^{n}X_i\\ \hat{\sigma}_n^2 : = \frac{1}{n}\sum_{i=1}^{n}(X_i-\hat{\mu}_n)^2$$

Menurut Teorema Limit Pusat, sebagai $n$ menjadi sangat besar, rata-rata sampel $\hat{\mu}_n$ akan sangat mematuhi distribusi normal

$$\hat{\mu} \sim N(\mu,\frac{\sigma^2}{n})$$

Sebelum kita dapat menghitung interval kepercayaan, penulis menyatakan bahwa karena kita tidak tahu $\sigma^2$, kami akan membuat estimasi itu $\sigma^2 \approx \hat{\sigma}^2$, atau lebih tepatnya untuk estimasi yang tidak bias $\sigma^2 \approx \frac{n}{n-1}\hat{\sigma}^2$, dan kita dapat melanjutkan dari sana menggunakan teknik standar.

Sekarang, sementara penulis menyebutkan pentingnya $n$cukup besar ( jumlah undian per simulasi), tidak disebutkan tentang jumlah simulasi dan pengaruhnya terhadap kepercayaan kami.

Apakah ada keuntungan dari berlari $k$ simulasi (melakukan $n$ menarik setiap kali) untuk mendapatkan beberapa cara sampel $\hat{\mu}_{n,1}, \hat{\mu}_{n,2}, \dots \hat{\mu}_{n,k}$, dan kemudian gunakan sarana sarana untuk meningkatkan taksiran dan keyakinan kami tentang hal yang tidak diketahui $\mu,\sigma$ dari $X$?

Atau apakah cukup dengan menggambar saja $n$ sampel dari $X$ dalam simulasi tunggal, selama $n$ cukup besar

Selama masalah tentang pembuatan angka pseudo-acak dihindari (lihat catatan di bagian akhir), kedua pendekatan tersebut ($k$ simulasi dengan $n$ menggambar vs simulasi tunggal dengan cukup besar $n$) adalah setara sehubungan dengan memperkirakan rata-rata . Mengenai ingatan, amati itu, dalam$k$ kasus simulasi, Anda perlu menyimpan berarti sampel $\hat{\mu}_{n,1}, \dots, \hat{\mu}_{n,k}$sebelum melakukan rerata final, sementara ini tidak terjadi dalam skenario simulasi tunggal. Dengan komputer modern, melakukan simulasi tunggal dengan cukup besar$n$ seharusnya tidak lebih sulit dari apa yang dijelaskan sebelumnya dan, pada kenyataannya, harus menghemat waktu.

Alasan matematika di luar kesetaraan adalah linearitas. Untuk lebih tepatnya, di$k$ skenario simulasi, Anda menghitung mean sampel "final" $\hat{\mu}$ sebagai berikut

$$\hat{\mu} = \frac{1}{k} \sum_{h=1}^k \hat{\mu}_{n,h} = \frac{1}{k} \sum_{h=1}^k \frac{1}{n} \sum_{i=1}^n X^{(h)}_i = \frac{1}{nk} \sum_{h=1}^k \sum_{i=1}^n X^{(h)}_i$$ dimana $X_i^{(h)}$ menunjukkan undian bernomor $i$ di simulasi $h$. Penahbisan ini arbitrer jika tidak ada yang aneh terjadi, sehingga Anda dapat memberi label ulang masing-masing$X_i^{(h)}$ dengan indeks baru, katakanlah $m=1,\dots,nk$, memperoleh $$\hat{\mu} = \frac{1}{nk} \sum_{m=1}^{nk} X_m$$ Tapi ini setara dengan melakukan simulasi tunggal dengan $nk$ draw (jelas, draw harus iid, seperti yang sudah disebutkan).

Catatan: Potensi masalah dengan PRNG dijelaskan di halaman Wikipedia .