Apakah ini benar ? (Menghasilkan Gaussian Terpotong-norma-multivarian)

Jika $X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I})$ yaitu,

$$f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)$$

Saya ingin versi analog dari distribusi terpotong-normal dalam kasus multivarian.

Lebih tepatnya, saya ingin menghasilkan norma-dibatasi (untuk nilai $\geq a$ ) multivariat Gaussian $Y$ st

$$f_Y(y) = \begin{cases} c.f_X(y), \text{ if } ||y||\geq a \\[2mm] 0, \text{ otherwise }. \end{cases}$$ dimana $c=\frac{1}{Prob\big\{||X||\geq a\big\}}$

---

Sekarang saya perhatikan yang berikut:

Jika $x=(x_1,x_2,\ldots,x_n)$ , $||x||\geq a$

$\implies |x_n|\geq T\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Oleh karena itu dengan memilih sebagai sampel , orang dapat membatasi sebagai sampel dari distribusi terpotong-normal (mengikuti distribusi Gaussian-tail ) , kecuali untuk tanda yang dipilih secara acak dengan probabilitas . x n ≥ T N T ( 0 , σ 2 ) 1 /$x_1,\ldots,x_{n-1}$$x_n$$\geq T$$\mathcal{N}_T(0,\sigma^2)$$1/2$

Sekarang pertanyaan saya adalah ini,

Jika saya membuat setiap sampel vektor dari( X 1 , ... , X n$(x_1,\ldots,x_n)$$(X_1,\ldots,X_n)$ sebagai,

$x_1,\ldots,x_{n-1}\sim \mathcal{N}(0,\sigma^2)$

dan

Z 1 ∼ { ± 1 w.p. 1 / 2 } Z 2 ~ N T ( 0 , σ 2 ) T ( x 1 , ... , x n - 1 ) ≜ $x_n = Z_1 *Z_2~$ mana, , , (yaitu a RV terpotong-skalar-normal dengan$~Z_1\sim\{\pm1 ~\text{w.p.}~ 1/2\}$$Z_2\sim\mathcal{N}_T(0,\sigma^2)$$T(x_1,\ldots,x_{n-1})\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Akankah menjadi norma-dibatasi ( ) Gaussian multivarian? (Yaitu sama dengan didefinisikan di atas). Bagaimana saya harus memverifikasi? Ada saran lain jika ini bukan jalannya?≥ a $(X_1,X_2,\ldots,X_n)$$\geq a$$Y$

EDIT:

Berikut ini adalah sebar-plot poin dalam kasus 2D dengan norma terpotong ke nilai di atas "1"

Catatan: Ada beberapa jawaban bagus di bawah ini, tetapi alasan mengapa proposal ini salah tidak ada. Sebenarnya, itulah poin utama dari pertanyaan ini.

Distribusi normal multivariat adalah simetris berbentuk bola. Distribusi yang Anda cari memotong radius di bawah pada . Karena kriteria ini hanya bergantung pada panjang , distribusi terpotong tetap simetris bulat. Karena tidak tergantung pada sudut bulatdan memiliki distribusi , karena itu Anda dapat menghasilkan nilai-nilai dari distribusi dipotong hanya dalam beberapa langkah sederhana:ρ = | | X | | 2 a X ρ X / | | X | | $X$$\rho=||X||^2$$a$$X$$\rho$$X/||X||$χ ( n )$\rho\,\sigma$$\chi(n)$

1. Hasilkan .$X \sim \mathcal{N}(0,\mathbb{I}_n)$

2. Hasilkan sebagai akar kuadrat dari a terpotong di .χ 2 ( d ) ( a / σ ) $P$$\chi^2(d)$$(a/\sigma)^2$

3. Biarkan.$Y = \sigma P\, X/||X||$

Pada langkah 1, diperoleh sebagai urutan realisasi independen dari variabel normal standar.$X$$d$

Pada langkah 2, adalah mudah dihasilkan dengan membalik fungsi kuantil dari Distribusi: menghasilkan variabel seragam didukung dalam kisaran (dari quantiles) antara dan dan set .$P$$F^{-1}$$\chi^2(d)$$U$$F((a/\sigma)^2)$$1$$P = \sqrt{F(U)}$

Berikut adalah histogram realisasi independen seperti σ P untuk σ = 3 dalam n = 11 dimensi, terpotong di bawah pada a = 7 . Butuh sekitar satu detik untuk menghasilkan, membuktikan efisiensi algoritma.$10^5$$\sigma P$$\sigma=3$$n=11$$a=7$

Kurva merah adalah kepadatan distribusi terpotong diskalakan dengan σ = 3 . Kecocokan yang dekat dengan histogram adalah bukti validitas teknik ini.$\chi(11)$$\sigma=3$

Untuk mendapatkan intuisi untuk pemotongan, pertimbangkan case , σ = 1 in n = 2 dimensi. Berikut adalah sebar dari Y 2 terhadap Y 1 (untuk 10 4 realisasi independen). Ini jelas menunjukkan lubang di jari - jari a :$a=3$$\sigma=1$$n=2$$Y_2$$Y_1$$10^4$$a$

Akhirnya, perhatikan bahwa (1) komponen harus memiliki distribusi yang identik (karena simetri bola) dan (2) kecuali ketika a = 0 , distribusi umum tersebut tidak Normal. Bahkan, sebagai sebuah tumbuh besar, penurunan yang cepat dari (univariat) distribusi normal menyebabkan sebagian besar probabilitas multivariat berbentuk bola dipotong yang normal untuk cluster dekat permukaan n - 1 -sphere (jari-jari a ). Distribusi marginal karenanya harus mendekati Beta simetris berskala ( ( n - 1 ) / 2 , ( n $X_i$$a=0$$a$$n-1$$a$ distribusi terkonsentrasi dalam interval ( - a , a ) . Ini terlihat dalam sebar sebelumnya, di mana a = 3 σ sudah besar dalam dua dimensi: titik membatasi cincin (a 2 - 1- bola) dari jari-jari 3 σ .$((n-1)/2,(n-1)/2)$$(-a,a)$$a=3\sigma$$2-1$$3\sigma$

Berikut adalah histogram distribusi marjinal dari simulasi ukuran dalam 3 dimensi dengan a = 10 , σ = 1 (untuk yang mendekati Beta ( 1 , 1 ) distribusi seragam):$10^5$$3$$a=10$$\sigma=1$$(1,1)$

Karena marjinal pertama dari prosedur yang dijelaskan dalam pertanyaan adalah normal (berdasarkan konstruksi), prosedur tersebut tidak dapat benar.$n-1$

---

RKode berikut menghasilkan angka pertama. Hal ini dibangun untuk langkah paralel 1-3 untuk menghasilkan . Hal ini dimodifikasi untuk menghasilkan angka kedua dengan mengubah variabel , , , dan kemudian mengeluarkan perintah plot setelah dihasilkan.$Y$adnsigmaplot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010")y

Generasi dimodifikasi dalam kode untuk resolusi numerik yang lebih tinggi: kode benar-benar menghasilkan 1 - U dan menggunakan itu untuk menghitung P .$U$$1-U$$P$

Teknik yang sama dalam mensimulasikan data menurut algoritma yang diduga, meringkasnya dengan histogram, dan melapiskan histogram dapat digunakan untuk menguji metode yang dijelaskan dalam pertanyaan. Ini akan mengkonfirmasi bahwa metode tidak berfungsi seperti yang diharapkan.

a <- 7      # Lower threshold
d <- 11     # Dimensions
n <- 1e5    # Sample size
sigma <- 3  # Original SD
#
# The algorithm.
#
set.seed(17)
u.max <- pchisq((a/sigma)^2, d, lower.tail=FALSE)
if (u.max == 0) stop("The threshold is too large.")
u <- runif(n, 0, u.max)
rho <- sigma * sqrt(qchisq(u, d, lower.tail=FALSE)) 
x <- matrix(rnorm(n*d, 0, 1), ncol=d)
y <- t(x * rho / apply(x, 1, function(y) sqrt(sum(y*y))))
#
# Draw histograms of the marginal distributions.
#
h <- function(z) {
  s <- sd(z)
  hist(z, freq=FALSE, ylim=c(0, 1/sqrt(2*pi*s^2)),
       main="Marginal Histogram",
       sub="Best Normal Fit Superimposed")
  curve(dnorm(x, mean(z), s), add=TRUE, lwd=2, col="Red")
}
par(mfrow=c(1, min(d, 4)))
invisible(apply(y, 1, h))
#
# Draw a nice histogram of the distances.
#
#plot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010") # For figure 2
rho.max <- min(qchisq(1 - 0.001*pchisq(a/sigma, d, lower.tail=FALSE), d)*sigma, 
               max(rho), na.rm=TRUE)
k <- ceiling(rho.max/a)
hist(rho, freq=FALSE, xlim=c(0, rho.max),  
     breaks=seq(0, max(rho)+a, by=a/ceiling(50/k)))
#
# Superimpose the theoretical distribution.
#
dchi <- function(x, d) {
  exp((d-1)*log(x) + (1-d/2)*log(2) - x^2/2 - lgamma(d/2))
}
curve((x >= a)*dchi(x/sigma, d) / (1-pchisq((a/sigma)^2, d))/sigma, add=TRUE, 
      lwd=2, col="Red", n=257)

Saya telah menulis ini dengan asumsi bahwa Anda tidak ingin ada poin yang memiliki || y || > a, yang merupakan analog dari pemotongan satu dimensi yang biasa. Namun, Anda telah menulis bahwa Anda ingin agar poin tetap memiliki | y || > = a dan membuang yang lain. Namun demikian, penyesuaian yang jelas untuk solusi saya dapat dilakukan jika Anda benar-benar ingin mempertahankan poin | | | | > = a.

Cara paling mudah, yang kebetulan merupakan teknik yang sangat umum, adalah dengan menggunakan Acceptance-Rejection https://en.wikipedia.org/wiki/Rejection_sampling . Ini akan cukup cepat selama Prob (|| X ||> a) cukup rendah, karena dengan begitu tidak akan ada banyak penolakan.

Hasilkan nilai sampel x dari Multivariate Normal yang tidak dibatasi (meskipun masalah Anda menyatakan bahwa Multivariate Normal berbentuk bulat, teknik ini dapat diterapkan meskipun tidak). Jika || x || <= a, terima, yaitu, gunakan x, jika tidak tolak dan hasilkan sampel baru. Ulangi proses ini sampai Anda memiliki sampel yang diterima sebanyak yang Anda butuhkan. Efek dari penerapan prosedur ini adalah untuk menghasilkan y sedemikian rupa sehingga densitasnya adalah c * f_X (y), jika || y || <= a, dan 0 jika || y || > a, per koreksi saya ke bagian pembukaan pertanyaan Anda. Anda tidak perlu menghitung c; efeknya ditentukan secara otomatis oleh algoritma berdasarkan frekuensi penolakan sampel.

$$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}=\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{x_1^2+\ldots+x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$=\frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x_{-n}||^2+x_n^2>a^2}$$ $$=\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\qquad\qquad\qquad\qquad\qquad$$ $$\qquad\qquad\qquad\times\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)^{-1}}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{x_n^2>a-||x_{-n}||^2}$$ $$f_{X_{-n}}(x_{-n}) \propto \frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)$$ $x_n$

1. $X_n$$X_{-n}$
2. $X_{-n}$$\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)$

Satu-satunya cara saya dapat melihat dalam mengambil keuntungan dari properti ini adalah menjalankan Gibbs sampler, satu komponen pada satu waktu, menggunakan distribusi bersyarat normal terpotong.

Pertanyaannya berasal dari ide untuk menggunakan - dekomposisi kondisional dasar dari distribusi bersama - untuk menggambar sampel vektor.

$X$

$\text{Prob}(||X||>a) \triangleq T$$Y\triangleq X.\mathbb{I}_{||X||>a}$

$$f_Y(y) = \frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||y||^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{y_1^2+\ldots+y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right) \left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\right)\\ =\underbrace{\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right)}_{\text{Gaussians}} \underbrace{\left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{y_n^2>(a^2-y_1^2-\ldots y_{n-1}^2)}\right)}_{\text{Truncated Gaussian??}}$$

Jawaban terpendek adalah bahwa faktor terakhir bukanlah Gaussian terpotong, (lebih penting) bahkan bukan distribusi.

---

Inilah penjelasan terperinci mengapa faktorisasi di atas itu sendiri memiliki beberapa kelemahan mendasar. Dalam satu kalimat: setiap faktorisasi bersyarat dari distribusi bersama yang diberikan harus memenuhi beberapa sifat yang sangat mendasar, dan faktorisasi di atas tidak memuaskan mereka (Lihat di bawah).

$f_{XY}(x,y)=f_X(x)\cdot f_{Y|X}(y|x)$$f_X(x)$$X$$f_{Y|X}(y|x)$$Y$

1. $f(x,y)$$f_X(x)$
2. $f_{Y|X}(y|x)$$x$

$Y_n|(Y_1\ldots Y_{n-1})$

$(Y_1\ldots Y_{n-1})$

---

Proposal algoritma semacam itu mungkin merupakan hasil dari kesalahpahaman berikut: Setelah distribusi secara alami keluar dari distribusi bersama (seperti Gaussians di atas), itu mengarah ke faktorisasi bersyarat. ---- Tidak! ---- Faktor (kedua) lainnya juga harus baik.

---

Catatan: Ada jawaban yang bagus oleh @whuber sebelumnya, yang sebenarnya memecahkan masalah menghasilkan norma Gaussian multivarian terpotong. Saya menerima jawabannya. Jawaban ini hanya untuk menjelaskan & berbagi pemahaman saya sendiri dan asal usul pertanyaan.