Keuntungan Box-Muller dibandingkan metode CDF terbalik untuk mensimulasikan distribusi Normal?

Untuk mensimulasikan distribusi normal dari satu set variabel seragam, ada beberapa teknik:

Algoritma Box-Muller , di mana satu sampel dua varian seragam independen pada dan mengubahnya menjadi dua distribusi normal standar independen melalui: $(0,1)$
$Z_{0} = \sqrt{- 2 ln U_{1}} cos (2 π U_{0}) Z_{1} = \sqrt{- 2 ln U_{1}} sin (2 π U_{0})$ $Z_0 = \sqrt{-2\text{ln}U_1}\text{cos}(2\pi U_0)\\ Z_1 = \sqrt{-2\text{ln}U_1}\text{sin}(2\pi U_0)$
metode CDF , di mana orang dapat menyamakan cdf normal dengan varian Uniform: dan menurunkan $(F(Z))$
$F (Z) = U$ $F(Z) = U$ $Z = F^{- 1} (U)$ $Z = F^{-1}(U)$

Pertanyaan saya adalah: komputasi mana yang lebih efisien? Saya akan berpikir ini metode terakhir - tetapi sebagian besar makalah yang saya baca menggunakan Box-Muller - mengapa?

Informasi tambahan:

Kebalikan dari CDF normal diketahui dan diberikan oleh:

F^{- 1} (Z) = \sqrt{2} \erf^{- 1} (2 Z - 1), Z \in (0, 1) .

$F^{-1}(Z)\; =\; \sqrt2\;\operatorname{erf}^{-1}(2Z - 1), \quad Z\in(0,1).$

Karenanya:

Z = F^{- 1} (U) = \sqrt{2} \erf^{- 1} (2 U - 1), U \in (0, 1) .

$Z = F^{-1}(U)\; =\; \sqrt2\;\operatorname{erf}^{-1}(2U - 1), \quad U\in(0,1).$

normal-distribution simulation uniform

— pengguna2350366
sumber

Apa kebalikan dari cdf normal? Itu tidak dapat dihitung secara analitis, hanya jika CDF asli didekati dengan fungsi linear piecewise.

— Artem Sobolev

Bukankah keduanya terkait erat? Box Muller, saya percaya, adalah kasus khusus untuk generasi 2-varian.

— ttnphns

Hai Barmaley, saya telah menambahkan beberapa informasi di atas. CDF Inverse memiliki ekspresi - tetapi

harus dihitung secara komputasi - sehingga mungkin mengapa kotak Muller lebih disukai? Saya berasumsi

akan dihitung dalam tabel pencarian, seperti nilai-nilai

dan

? Jadi bukankah itu jauh lebih mahal secara komputasi? Namun saya mungkin salah.

{erf}^{- 1}

$\text{erf}^{-1}$

{erf}^{1}

$\text{erf}^1$

sin

$\text{sin}$

cosine

$\text{cosine}$

— user2350366

Ada versi Box-Muller tanpa dosa dan kosinus.

— Xi'an

@Dilip Untuk aplikasi dengan presisi sangat rendah, seperti grafik komputer, sinus dan cosinus memang dapat dioptimalkan dengan menggunakan tabel pencarian yang sesuai. Namun, untuk aplikasi statistik, optimasi seperti itu tidak pernah digunakan. Pada akhirnya tidak benar-benar lebih sulit untuk menghitung

dari

atau

, tetapi pada sistem komputasi modern fungsi-fungsi dasar yang berkaitan dengan

- termasuk fungsi trigonometri - cenderung dioptimalkan (

dan

adalah instruksi dasar pada Intel 8087 chip!), Sedangkan erf tidak tersedia atau telah dikodekan pada level yang lebih tinggi (= lebih lambat).

{erf}^{- 1}

$\text{erf}^{-1}$

\log

$\log$

sqrt

$\text{sqrt}$

\exp

$\exp$

\cos

$\cos$

\log

$\log$

— whuber

Dari sudut pandang probabilitas murni, kedua pendekatan itu benar dan karenanya setara. Dari perspektif algoritmik, perbandingan harus mempertimbangkan ketepatan dan biaya komputasi.

Box-Muller bergantung pada generator yang seragam dan harganya hampir sama dengan generator yang seragam ini. Seperti yang disebutkan dalam komentar saya, Anda dapat pergi tanpa panggilan sinus atau cosinus, jika tidak tanpa logaritma:

menghasilkan hingga $U_{1}, U_{2} \overset{iid}{\sim} U (- 1, 1)$ $U_1,U_2\stackrel{\text{iid}}{\sim}\mathcal{U}(-1,1)$ $S=U_1^2+U_2^2\le 1$
ambil dan tentukan $Z=\sqrt{-2\log(S)/S}$ $X_{1} = Z U_{1}, X_{2} = Z U_{2}$ $X_1=ZU_1\,,\ X_2=Z U_2$

Algoritma inversi generik membutuhkan panggilan ke invers normal cdf, misalnya qnorm(runif(N))dalam R, yang mungkin lebih mahal daripada yang di atas dan yang lebih penting mungkin gagal di bagian ekor dalam hal presisi, kecuali fungsi kuantil dikodekan dengan baik.

Untuk mengikuti komentar yang dibuat oleh whuber , perbandinganrnorm(N) dan qnorm(runif(N))merupakan keuntungan dari invers cdf, keduanya dalam waktu pelaksanaan:

> system.time(qnorm(runif(10^8)))
sutilisateur     système      écoulé
 10.137           0.120      10.251 
> system.time(rnorm(10^8))
utilisateur     système      écoulé
 13.417           0.060      13.472` `

dan dalam hal kecocokan di ekor: enter image description here

Mengikuti komentar Radford Neal di blog saya , saya ingin menunjukkan bahwa default rnormdi R menggunakan metode inversi, sehingga perbandingan di atas mencerminkan pada antarmuka dan bukan pada metode simulasi itu sendiri! Mengutip dokumentasi R di RNG:

‘normal.kind’ can be ‘"Kinderman-Ramage"’, ‘"Buggy
 Kinderman-Ramage"’ (not for ‘set.seed’), ‘"Ahrens-Dieter"’,
 ‘"Box-Muller"’, ‘"Inversion"’ (the default), or ‘"user-supplied"’.
 (For inversion, see the reference in ‘qnorm’.)  The
 Kinderman-Ramage generator used in versions prior to 1.7.1 (now
 called ‘"Buggy"’) had several approximation errors and should only
 be used for reproduction of old results.  The ‘"Box-Muller"’
 generator is stateful as pairs of normals are generated and
 returned sequentially.  The state is reset whenever it is selected
 (even if it is the current normal generator) and when ‘kind’ is
 changed.

— Xi'an
sumber

\log

$\log$

\sqrt{}

$\sqrt{}$

Φ^{- 1}

$\Phi^{-1}$

Φ^{- 1}

$\Phi^{-1}$

X_{1}

$X_1$

X_{2}

$X_2$

U_{i}

$U_i$

- 1

$-1$

1

$1$

0

$0$

1

$1$

— whuber

R 3.0.2rowSums

S

$S$ qnorm(runif(N))InverseCDF[NormalDistribution[], #] &

Saya setuju, qnorm(runif(N))bahkan 20% lebih cepat darirnorm(N)

— Xi'an

Φ^{- 1}

$\Phi^{-1}$

\sin

$\sin$

\cos

$\cos$

Sebagai perbandingan, menggunakan i7-3740QM @ 2.7Ghz dan R 3.12, untuk panggilan berikut:

RNGkind(kind = NULL, normal.kind = 'Inversion');At <- microbenchmark(A <- rnorm(1e5, 0, 1), times = 100L);RNGkind(kind = NULL, normal.kind = 'Box-Muller');Bt <- microbenchmark(B <- rnorm(1e5, 0, 1), times = 100L)

Saya mendapatkan mean 11.38363 median 11.18718untuk inversi dan mean 13.00401 median 12.48802untuk Box-Muller

— Avraham