Memecahkan persamaan integral sederhana dengan pengambilan sampel acak

Biarkan menjadi fungsi non-negatif. Saya tertarik menemukan sedemikian rupa sehingga Peringatan itu : yang bisa saya lakukan adalah sampel pada titik di . Aku bisa, bagaimanapun, memilih lokasi di mana saya sampel secara acak, jika saya menginginkannya. $f$$z \in [0,1]$

$$\int_0^{z} f(x)\,dx = \frac{1}{2}\int_0^1 f(x)\,dx$$ $f$$[0,1]$$f$

Pertanyaan:

1. Apakah mungkin untuk mendapatkan estimasi tidak bias setelah banyak sampel? Jika demikian, berapakah varian terkecil yang dapat dimiliki dari estimasi tersebut setelah sampel ?$z$$k$
2. Jika tidak, prosedur apa yang tersedia untuk memperkirakan , dan apa waktu konvergensi yang terkait.$z$

Seperti yang ditunjukkan oleh Douglas Zare dalam komentar, ini bisa sangat sulit dilakukan jika fungsinya mendekati nol atau sangat besar. Untungnya, fungsi yang perlu saya gunakan untuk ini dibatasi dari atas dan bawah, jadi anggaplah . Selain itu, kita juga dapat mengasumsikan bahwa adalah Lipschitz atau bahkan dapat dibedakan jika itu membantu.$1 \leq f(x) \leq 2$$f$

Seperti yang ditunjukkan kardinal dalam komentarnya, pertanyaan Anda dapat disajikan kembali sebagai berikut.

Dengan aljabar sederhana, persamaan integral dapat ditulis ulang sebagai

$$\int_0^z g(x)\,dx = \frac{1}{2} \, ,$$ di mana $g$ adalah fungsi kepadatan probabilitas didefinisikan sebagai $$g(x)=\frac{f(x)}{\int_0^1 f(t)\,dt} \, .$$

Membiarkan $X$ menjadi variabel acak dengan kerapatan $g$. Menurut definisi,$P\{X\leq z\}=\int_0^z g(x)\,dx$, jadi persamaan integral Anda setara dengan

$$P\{X\leq z\}=\frac{1}{2} \, ,$$ yang berarti bahwa masalah Anda dapat dinyatakan sebagai:

"Membiarkan $X$ menjadi variabel acak dengan kerapatan $g$. Temukan median$X$. "

Untuk memperkirakan median $X$, gunakan metode simulasi apa pun untuk menggambar sampel nilai $X$ dan ambil sebagai estimasi Anda median sampel.

Salah satu kemungkinan adalah menggunakan algoritma Metropolis-Hastings untuk mendapatkan sampel poin dengan distribusi yang diinginkan. Karena ekspresi probabilitas penerimaan dalam algoritma Metropolis-Hastings, kita tidak perlu mengetahui nilai konstanta normalisasi$\int_0^1 f(t)\,dt$ kepadatan $g$. Jadi, kita tidak perlu melakukan integrasi ini.

Kode di bawah ini menggunakan bentuk sederhana dari algoritma Metropolis-Hastings yang dikenal sebagai Indepence Sampler, yang menggunakan proposal yang distribusinya tidak bergantung pada nilai rantai saat ini. Saya telah menggunakan proposal seragam independen. Sebagai perbandingan, skrip menampilkan minimum Monte Carlo dan hasilnya ditemukan dengan optimasi standar. Titik sampel disimpan dalam vektor chain, tetapi kami membuang yang pertama$10000$ titik yang membentuk apa yang disebut periode "terbakar" dalam simulasi.

BURN_IN = 10000
DRAWS   = 100000

f = function(x) exp(sin(x))

chain = numeric(BURN_IN + DRAWS)

x = 1/2

for (i in 1:(BURN_IN + DRAWS)) {
    y = runif(1) # proposal
    if (runif(1) < min(1, f(y)/f(x))) x = y
    chain[i] = x
}

x_min = median(chain[BURN_IN : (BURN_IN + DRAWS)])

cat("Metropolis minimum found at", x_min, "\n\n")

# MONTE CARLO ENDS HERE. The integrations bellow are just to check the results.

A = integrate(f, 0, 1)$value

F = function(x) (abs(integrate(f, 0, x)$value - A/2))

cat("Optimize minimum found at", optimize(F, c(0, 1))$minimum, "\n")

Berikut ini beberapa hasilnya:

Metropolis minimum found at 0.6005409 
Optimize minimum found at 0.601365

Kode ini dimaksudkan hanya sebagai titik awal untuk apa yang benar-benar Anda butuhkan. Karenanya, gunakan dengan hati-hati.

Kualitas perkiraan integral, setidaknya dalam kasus sesederhana 1D, diberikan oleh (Teorema 2.10 dalam Niederreiter (1992) ):

$$\Bigl|\frac 1N \sum_{n=1}^N f(x_n) - \int_0^1 f(u) \, {\rm d}u \Bigr| \le \omega (f; D_N^*(x_1, \ldots, x_N) )$$ dimana $$\omega(f;t) = \sup \{ |f(u)-f(v)| : u, v \in [0,1], |u-v|\le t , t>0\}$$ adalah modulus fungsi kontinuitas (terkait dengan variasi total, dan mudah diekspresikan untuk fungsi Lipshitz), dan $$D_N^*(x_1,\ldots,x_N) = \sup_u \Bigl| \frac1N \sum_n 1\bigl\{ x_n \in [0,u) \bigr\} - u \Bigr| = \frac1{2N} + \max_n \Bigl|x_n - \frac{2n-1}{2N}\Bigr|$$ adalah perbedaan (ekstrim), atau perbedaan maksimum antara fraksi hit dengan urutan $x_1, \ldots, x_N$ dari interval semi-terbuka $[0,u)$ dan ukuran Lebesgue-nya $u$. Ekspresi pertama adalah definisi, dan ekspresi kedua adalah properti dari urutan 1D di$[0,1]$ (Teorema 2.6 dalam buku yang sama).

Jadi jelas untuk meminimalkan kesalahan dalam perkiraan integral, setidaknya dalam RHS persamaan Anda, Anda perlu mengambil $x_n = (2n-1)/2N$. Sekrup evaluasi acak, mereka berisiko memiliki kesenjangan acak pada fitur penting dari fungsi.

Kerugian besar dari pendekatan ini adalah Anda harus berkomitmen pada suatu nilai $N$untuk menghasilkan urutan yang didistribusikan secara seragam ini. Jika Anda tidak puas dengan kualitas perkiraan yang diberikannya, yang dapat Anda lakukan hanyalah menggandakan nilai$N$ dan tekan semua titik tengah dari interval yang dibuat sebelumnya.

Jika Anda ingin memiliki solusi di mana Anda dapat meningkatkan jumlah poin secara lebih bertahap, Anda dapat terus membaca buku itu, dan belajar tentang urutan van der Corput dan invers radikal. Lihat urutan perbedaan rendah di Wikipedia, ini memberikan semua detail.

Perbarui: untuk dipecahkan$z$, tentukan jumlah parsial

$$S_k = \frac1N \sum_{n=1}^k f\Bigl( \frac{2n-1}{2N} \Bigr).$$ Temukan $k$ seperti yang $$S_k \le \frac12 S_N < S_{k+1},$$ dan interpolasi untuk menemukan $$z_N = \frac{2k-1}{2N} + \frac{S_N/2 - S_k}{N(S_{k+1}-S_k)}.$$ Interpolasi ini mengasumsikan itu $f(\cdot)$kontinu. Jika tambahan$f(\cdot)$ dua kali dapat dibedakan, maka pendekatan ini dengan mengintegrasikan ekspansi orde kedua untuk dimasukkan $S_{k-1}$ dan $S_{k+2}$, dan memecahkan persamaan kubik untuk $z$.