Bagaimana menentukan kuantil (isoline?) Dari distribusi normal multivariat

24

masukkan deskripsi gambar di sini

Saya tertarik pada bagaimana seseorang dapat menghitung kuantil dari distribusi multivariat. Dalam gambar, saya telah menggambar 5% dan 95% kuantil dari distribusi normal univariat yang diberikan (kiri). Untuk distribusi normal multivariat yang tepat, saya membayangkan analog akan menjadi isoline yang mengelilingi basis fungsi kerapatan. Di bawah ini adalah contoh dari upaya saya untuk menghitung ini menggunakan paket mvtnorm- tetapi tidak berhasil. Saya kira ini bisa dilakukan dengan menghitung kontur hasil dari fungsi kepadatan multivarian, tetapi saya bertanya-tanya apakah ada alternatif lain ( misalnya , analog qnorm). Terima kasih atas bantuan Anda.

Contoh:

mu <- 5
sigma <- 2 
vals <- seq(-2,12,,100)
ds <- dnorm(vals, mean=mu, sd=sigma)

plot(vals, ds, t="l")
qs <- qnorm(c(0.05, 0.95), mean=mu, sd=sigma)
abline(v=qs, col=2, lty=2)


#install.packages("mvtnorm")
require(mvtnorm)
n <- 2
mmu <- rep(mu, n)
msigma <- rep(sigma, n)
mcov <- diag(msigma^2)
mvals <- expand.grid(seq(-2,12,,100), seq(-2,12,,100))
mvds <- dmvnorm(x=mvals, mean=mmu, sigma=mcov)

persp(matrix(mvds,100,100), axes=FALSE)
mvqs <- qmvnorm(0.95, mean=mmu, sigma=mcov, tail = "both") #?

#ex. plot   
png("tmp.png", width=8, height=4, units="in", res=400)
par(mfcol=c(1,2))

#univariate
plot(vals, ds, t="l")
qs <- qnorm(c(0.05, 0.95), mean=mu, sd=sigma)
abline(v=qs, col=2, lty=2)

#multivariate
pmat <- persp(seq(-2,12,,100), seq(-2,12,,100), matrix(mvds,100,100), axes=FALSE, shade=TRUE, lty=0)
cont <- contourLines(seq(-2,12,,100), seq(-2,12,,100), matrix(mvds,100,100), levels=0.05^2)
lines(trans3d(cont[[1]]$x, cont[[1]]$y, cont[[1]]$level, pmat), col=2, lty=2)

dev.off()

— Marc di dalam kotak
sumber

3

Sebuah Mathematica solusi diberikan (dan diilustrasikan untuk kasus 3D) di mathematica.stackexchange.com/questions/21396/... . Ia mengakui bahwa level kontur diberikan oleh distribusi chi-squared.

— whuber

@whuber - bisakah Anda menunjukkan apa yang Anda maksud dengan "... ellipsoid kepercayaan adalah kontur dari kebalikan dari matriks kovarians"? Tepuk tangan.

— Marc di dalam kotak

2

Ini paling mudah dilihat dalam satu dimensi, di mana "matriks kovarians" (untuk distribusi sampel) adalah angka

, jadi kebalikannya adalah

, dianggap sebagai peta kuadrat pada

melalui

. Sebuah kontur pada tingkat

menurut definisi adalah himpunan

yang

; yaitu,

atau ekuivalen

s^{2}

$s^2$

1 / s^{2}

$1/s^2$

R^{1}

$\mathbb{R}^1$

x \to x^{2} / s^{2}

$x\to x^2/s^2$

λ

$\lambda$

x

$x$

x^{2} / s^{2} = λ

$x^2/s^2=\lambda$

x^{2} = λ s^{2}

$x^2=\lambda s^2$

. Ketika

adalah

kuantil daridistribusi

,

x = \pm \sqrt{λ} s

$x=\pm\sqrt{\lambda}s$

λ

$\lambda$

1 - α

$1-\alpha$

χ^{2} (1)

$\chi^2(1)$

adalah

kuantil daridistribusi

, di mana kita memulihkan batas kepercayaan yang biasa

.

\sqrt{λ}

$\sqrt{\lambda}$

1 - α

$1-\alpha$

t (1)

$t(1)$

\pm t_{1 - α; 1} s

$\pm t_{1-\alpha; 1}s$

— Whuber

Anda dapat menggunakan rumus pertama dalam jawaban ini dengan memilih

dalam

untuk mendapatkan ellipse

(garis putus-putus merah pada plot Anda) untuk

α

$\alpha$

(0, 1)

$(0,1)$

S_{α}

$S_\alpha$

x \in R^{2}

$\mathbf{x}\in \mathbb{R}^2$

— pengguna603

25

Garis kontur adalah ellipsoid. Alasannya adalah karena Anda harus melihat argumen eksponensial, dalam pdf distribusi normal multivarian: isolin akan menjadi garis dengan argumen yang sama. Maka Anda mendapatkan mana adalah matriks kovarians. Persisnya persamaan elips; dalam kasus paling sederhana, dan adalah diagonal, sehingga Anda mendapatkan

(x - μ)^{T} Σ^{- 1} (x - μ) = c

$({\bf x}-\mu)^T\Sigma^{-1}({\bf x}-\mu) = c$

Σ

$\Sigma$

μ = (0, 0)

$\mu=(0,0)$

Σ

$\Sigma$

Jika

tidak diagonal, mendiagonalisasi Anda mendapatkan hasil yang sama.

{(\frac{x}{σ_{x}})}^{2} + {(\frac{y}{σ_{y}})}^{2} = c

$\left(\frac{x}{\sigma_x}\right)^2+\left(\frac{y}{\sigma_y}\right)^2=c$

Σ

$\Sigma$

Sekarang, Anda harus mengintegrasikan pdf dari multivariat di dalam (atau di luar) elips dan meminta ini sama dengan jumlah yang Anda inginkan. Katakanlah bahwa kuantil Anda bukan yang biasa, tetapi pada prinsipnya berbentuk elips (yaitu Anda mencari Wilayah Kepadatan Tertinggi, HDR, seperti yang ditunjukkan oleh jawaban Tim). Saya akan mengubah variabel dalam pdf ke , berintegrasi dalam sudut dan kemudian untuk dari ke $z^2=(x/\sigma_x)^2+(y/\sigma_y)^2$ $z$ $0$ $\sqrt{c}$ Kemudian Anda pengganti :

1 - α = \int_{0}^{\sqrt{c}} d z \frac{z e^{- z^{2} / 2}}{2 π} \int_{0}^{2 π} d θ = \int_{0}^{\sqrt{c}} z e^{- z^{2} / 2}

$1-\alpha=\int_0^{\sqrt{c}}dz\frac{z\;e^{-z^2/2}}{2\pi}\int_0^{2\pi}d\theta=\int_0^{\sqrt{c}}z\;e^{-z^2/2}$

s = - z^{2} / 2

$s=-z^2/2$

\int_{0}^{\sqrt{c}} z e^{- z^{2} / 2} = \int_{- c / 2}^{0} e^{s} d s = (1 - e^{- c / 2})

$\int_0^{\sqrt{c}}z\;e^{-z^2/2}=\int_{-c/2}^{0}e^sds=(1-e^{-c/2})$

Jadi pada prinsipnya, Anda harus mencari elips yang berpusat di , dengan sumbu di atas vektor eigen dan radius efektif : $\mu$ $\Sigma$ $-2\ln\alpha$

(x - μ)^{T} Σ^{- 1} (x - μ) = - 2 dalam α

$({\bf x}-\mu)^T\Sigma^{-1}({\bf x}-\mu) = -2\ln{\alpha}$

— chuse
sumber

4

Anda bertanya tentang multivarian normal, tetapi memulai pertanyaan Anda dengan bertanya tentang "kuantil distribusi multivarian" secara umum. Dari kata-kata pertanyaan Anda dan contoh yang diberikan tampaknya Anda tertarik pada daerah dengan kepadatan tertinggi . Mereka didefinisikan oleh Hyndman (1996) sebagai berikut

Biarkan menjadi fungsi kepadatan dari variabel acak . Maka HDR adalah subset dari ruang sampel sedemikian rupa sehingga $f(z)$ $X$ $100( 1 - \alpha )\%$ $R(f_\alpha)$ $X$

$R (f_{α}) = {x : f (x) \geq f_{α}}$ $R(f_\alpha) = \{ x : f(x) \geq f_\alpha\}$
di mana adalah konstanta terbesar sehingga . $f_\alpha$ $\Pr(X \in R(f_\alpha)) \geq 1 - a$

HDR dapat diperoleh dengan integrasi tetapi, seperti dijelaskan oleh Hyndman, Anda dapat melakukannya menggunakan metode numerik yang lebih sederhana. Jika $Y = f(x)$ , maka Anda dapat memperoleh sehingga hanya dengan mengambil kuantil dari . Hal ini dapat diperkirakan dengan menggunakan quantiles sampel dari serangkaian pengamatan $f_\alpha$ $\Pr(f(x) \geq f_\alpha) \geq 1 - \alpha$ $\alpha$ $Y$ $y_1,...,y_m$ . Metode ini berlaku bahkan jika kita tidak tahu , tetapi hanya memiliki satu set pengamatan iid. Metode ini akan bekerja juga untuk distribusi multimoda. $f(x)$

Hyndman, RJ (1996). Komputasi dan grafik daerah kepadatan tertinggi. The American Statistician, 50 (2), 120-126.

— Tim
sumber

2

$-2*\ln(\alpha)$

\int_{0}^{\sqrt{c}} z e^{- z^{2} / 2} = \int_{- c / 2}^{0} e^{s} d s = (1 - e^{- c / 2})

$\int_0^\sqrt{c} z e^{-z^2/2} =\int_{-c/2}^0e^sds=(1-e^{-c/2})$

— chunjiw
sumber

1

Anda bisa menggambar elips yang sesuai dengan jarak Mahalanobis.

library(chemometrics)
data(glass)
data(glass.grp)
x=glass[,c(2,7)]
require(robustbase)
x.mcd=covMcd(x)
drawMahal(x,center=x.mcd$center,covariance=x.mcd$cov,quantile=0.90)

Atau dengan lingkaran sekitar 95%, 75%, dan 50% data

drawMahal(x,center=x.mcd$center,covariance=x.mcd$cov,quantile=c(0.95,.75,.5))

— bunga aster
sumber

4

Selamat datang di situs @ user98114. Bisakah Anda memberikan beberapa teks untuk menjelaskan apa yang dilakukan kode ini & bagaimana menyelesaikan masalah OP?

— gung - Reinstate Monica