Apa artinya distribusi terpotong?

14

Dalam sebuah artikel penelitian tentang analisis sensitivitas model persamaan diferensial biasa dari sistem dinamis, penulis memberikan distribusi parameter model sebagai distribusi Normal (rata-rata = 1e-4, std = 3e-5) terpotong ke kisaran [0,5e -4 1.5e-4]. Dia kemudian menggunakan sampel dari distribusi terpotong ini untuk simulasi model. Apa artinya memiliki distribusi terpotong dan sampel dari distribusi terpotong ini?

Saya dapat menemukan dua cara untuk melakukan ini:

Sampel dari distribusi Normal tetapi abaikan semua nilai acak yang berada di luar rentang yang ditentukan sebelum simulasi.
Entah bagaimana, dapatkan distribusi "Truncated Normal" khusus dan dapatkan sampel darinya.

Apakah ini pendekatan yang valid dan setara?

Saya percaya pada kasus pertama, jika ada yang merencanakan eksperimental cdf / pdf sampel, itu tidak akan terlihat seperti distribusi normal karena kurva tidak meluas ke $\pm\infty$ .

distributions simulation truncation

— Kavka
sumber

16

Untuk memotong distribusi adalah untuk membatasi nilainya ke interval dan menormalkan kembali kepadatan sehingga integral atas rentang itu adalah 1.

Jadi, untuk memotong distribusi ke suatu interval akan menghasilkan variabel acak yang memiliki kepadatan $N(\mu, \sigma^{2})$ $(a,b)$

p_{a, b} (x) = \frac{ϕ_{μ, σ^{2}} (x)}{\int_{a}^{b} ϕ_{μ, σ^{2}} (y) d y} \cdot I {x \in (a, b)}

$p_{a,b}(x) = \frac{ \phi_{\mu, \sigma^{2}}(x) }{ \int_{a}^{b} \phi_{\mu, \sigma^{2}}(y) dy } \cdot \mathcal{I} \{ x \in (a,b) \}$

di mana adalah kepadatan . Anda dapat mencicipi dari kepadatan ini dalam beberapa cara. Salah satu cara (cara paling sederhana yang dapat saya pikirkan) untuk melakukan ini adalah dengan menghasilkan nilai dan membuang nilai-nilai yang berada di luar $\phi_{\mu, \sigma^{2}}(x)$ $N(\mu, \sigma^2)$ $N(\mu, \sigma^2)$ $(a,b)$ Interval, seperti yang Anda sebutkan. Jadi, ya, kedua peluru yang Anda daftarkan akan mencapai tujuan yang sama. Juga, Anda benar bahwa kepadatan empiris (atau histogram) variabel dari distribusi ini tidak akan mencapai . Itu akan terbatas pada , tentu saja. $\pm \infty$ $(a,b)$

— Makro
sumber

17

Simulasi dari distribusi normal sampai hasilnya jatuh dalam suatu interval baik-baik saja ketika probabilitas $\mathcal{N}(\mu,\sigma^2)$ $(a,b)$ cukup besar. Jika terlalu kecil, prosedur ini terlalu mahal karena jumlah rata-rata penarikan untuk satu penerimaan adalah .

ϱ = \int_{a}^{b} φ_{μ, σ^{2}} (x) d x

$\varrho = \int_a^b \varphi_{\mu,\sigma^2}(x)\,\text{d} x$

1 / ϱ

$1/\varrho$

Seperti dijelaskan dalam Metode Statistik Monte Carlo (Bab 2, Contoh 2.2), dan juga dalam makalah arXiv saya , cara yang lebih efisien untuk mensimulasikan normal terpotong ini adalah dengan menggunakan metode accept-reject berdasarkan distribusi eksponensial . $\mathcal{E}(\alpha)$

Pertimbangkan, tanpa kehilangan keumuman, dan . Ketika , distribusi instrumental potensial adalah distribusi eksponensial yang diterjemahkan, , dengan kepadatan $\mu = 0$ $\sigma = 1$ $b=+\infty$ $\mathcal{E} (\alpha,{ a})$ Rasio

g_{α} (z) = α e^{- α (z - a)} I_{z \geq a} .

$g_{\alpha}(z) = \alpha e^{- \alpha(z - {a})} \; \mathbb{I}_{z \geq {a }} \;.$

kemudian dibatasi oleh

jika

dan oleh

sebaliknya. Batas (atas) yang sesuai adalah

p_{a, \infty} (z) / g_{α} (z) \propto e^{- α (z - a)} e^{- z^{2} / 2}

$p_{a,\infty}(z)/g_{\alpha}(z) \propto e^{- \alpha(z - a )}e^{-z^{2}/2}$

\exp (α^{2} / 2 - α a)

$\exp(\alpha^{2}/2 - \alpha{a })$

α > a

$\alpha > a$

\exp (- a^{2} / 2)

$\exp(- a^{2}/2)$

Ekspresi pertama diminimalkan oleh

{\begin{cases} 1 / α \exp (α^{2} / 2 - α a) & if α > a, \\ 1 / α \exp (- a^{2} / 2) & otherwise. \end{cases}

$\begin{cases} 1/\alpha \; \exp (\alpha^{2}/2 - \alpha{a }) & \hbox{if } \alpha > a , \cr 1/\alpha \; \exp (- a^{2}/2) & \hbox{otherwise.} \cr \end{cases}$

sedangkan

meminimalkan batas kedua. Oleh karena itu,pilihan optimal

adalah (1).

α^{*} = \frac{1}{2} a + \frac{1}{2} \sqrt{a^{2} + 4}, (1)

$\begin{equation} \alpha^{*} = \frac{1}{2}a + \frac{1}{2} \sqrt{a^2 + 4}\;,\qquad (1) \end{equation}$

\tilde{α} = a

$\tilde\alpha = a$

α

$\alpha$

— Xi'an
sumber

2

Saya mungkin kehilangan sesuatu, tetapi apa salahnya dengan mengambil

U \sim Unif (Φ (a), Φ (b))

$U \sim \text{Unif}(\Phi(a),\Phi(b))$

X = Φ^{- 1} (U)

$X = \Phi^{-1}(U)$

2

a

$a$

0

$0$

1

Xi'an benar, @bnaul. Menjalankan qnormdalam loop R bukan ide yang baik.

— Stéphane Laurent

@ Xi'an: Itu benar, tetapi fungsi seperti itu dapat dirancang untuk memiliki presisi yang sewenang-wenang.

— Neil G

9

Sampel dari distribusi Normal tetapi abaikan semua nilai acak yang berada di luar rentang yang ditentukan sebelum simulasi.

Metode ini benar, tetapi, seperti yang disebutkan oleh @ Xi'an dalam jawabannya, akan membutuhkan waktu yang lama ketika kisarannya kecil (lebih tepatnya, ketika ukurannya kecil di bawah distribusi normal).

$F^{-1}(U)$ $F$ $U\sim\text{Unif}(0,1)$ $F$ $G$ $(a,b)$ $G^{-1}(U)$ $U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$

$G^{-1}$ $G^{-1}$ $G$ $G^{-1}$ $a$ $b$ $G$

Simulasikan distribusi terpotong dengan menggunakan sampling penting

${\cal N}(0,1)$ $G$ $G$ $\boxed{G(q)=\frac{\arctan(q)}{\pi}+\frac12}$ $\boxed{G^{-1}(q)=\tan\bigl(\pi(q-\frac12)\bigr)}$

$U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$ $G^{-1}(U)$ $\tan(U')$ $U'\sim\text{Unif}\bigl(\arctan(a),\arctan(b)\bigr)$

a <- 1
b <- 5
nsims <- 10^5
sims <- tan(runif(nsims, atan(a), atan(b)))

$x_i$ $\phi(x)/g(x)$

w (x) = \exp (- x^{2} / 2) (1 + x^{2}),

$w(x) = \exp(-x^2/2)(1+x^2),$

log_w <- -sims^2/2 + log1p(sims^2)
w <- exp(log_w) # unnormalized weights
w <- w/sum(w)

$(x_i,w(x_i))$ $[u,v]$

u <- 2; v<- 4
sum(w[sims>u & sims<v])
## [1] 0.1418

Ini memberikan perkiraan fungsi kumulatif target. Kami dapat dengan cepat mendapatkan dan merencanakannya dengan spatsatpaket:

F <- spatstat::ewcdf(sims,w)
# estimated F:
curve(F(x), from=a-0.1, to=b+0.1)
# true F:
curve((pnorm(x)-pnorm(a))/(pnorm(b)-pnorm(a)), add=TRUE, col="red")

ewcdf

# approximate probability of u<x<v:
F(v)-F(u)
## [1] 0.1418

$(x_i)$

msample <- rmultinom(1, nsims, w)[,1]
resims <- rep(sims, times=msample)
hist(resims)

hist

mean(resims>u & resims<v)
## [1] 0.1446

Metode lain: pengambilan sampel transformasi invers cepat

Olver dan Townsend mengembangkan metode pengambilan sampel untuk kelas luas distribusi berkelanjutan. Ini diimplementasikan di perpustakaan chebfun2 untuk Matlab serta perpustakaan ApproxFun untuk Julia . Baru-baru ini saya menemukan perpustakaan ini dan kedengarannya sangat menjanjikan (tidak hanya untuk pengambilan sampel acak). Pada dasarnya ini adalah metode inversi tetapi menggunakan perkiraan kuat dari cdf dan invers cdf. Input adalah fungsi kepadatan target hingga normalisasi.

Sampel hanya dihasilkan oleh kode berikut:

using ApproxFun
f = Fun(x -> exp(-x.^2./2), [1,5]);
nsims = 10^5;
x = sample(f,nsims);

$[2,4]$

sum((x.>2) & (x.<4))/nsims
## 0.14191

— Stéphane Laurent
sumber