Kemungkinan Gaussian + yang sebelumnya = Gaussian Marginal?

Diberikan kemungkinan Gaussian untuk sampel seperti dengan sebagai ruang parameter dan , parameterisasi acak dari vektor rata-rata dan matriks kovarians.$y$

$$p(y|\theta) = \mathcal{N}(y;\mu(\theta),\Sigma(\theta))$$ $\Theta$$\mu(\theta)$$\Sigma(\theta)$

Apakah mungkin untuk menentukan kepadatan sebelumnya dan parameterisasi vektor rata-rata dan matriks kovarians sedemikian rupa sehingga kemungkinan marginal adalah kemungkinan Gaussian?$p(\theta)$$\mu(\theta)$$\Sigma(\theta)$

$$p(y)=\int_{\theta\in\Theta}N(y;\mu(\theta),\Sigma(\theta))p(\theta)d\theta$$

Saya kira tidak termasuk solusi sepele yang diketahui kovarians, yaitu , di mana adalah matriks kovarians tetap yang berubah-ubah, ini tidak mungkin.$\Sigma(\theta)=\Sigma$$\Sigma$

Untuk kasus khusus dan , yaitu adalah satu dimensi, dan , di mana menunjukkan kepadatan seragam yang dapat saya perlihatkan: $\mu(\sigma^2)=\mu$$\Sigma(\sigma^2)=\sigma^2$$y$$p(\sigma^2)=\mathcal{U}(\sigma^2;a,b)$$\mathcal{U}(\sigma^2;a,b)$

$$\begin{align} p(y)&=\int_0^\infty \mathcal{N}(y;\mu,\sigma^2)\mathcal{U}(\sigma^2;a,b)d\sigma^2 \\ &= \frac{1}{b-a} \underbrace{\int_a^b \mathcal{N}(y;\mu,\sigma^2)}_\text{not a Gaussian density} \end{align}$$

Jawaban yang diterima berisi bukti formal atau informal atau petunjuk untuk itu.

Dugaan Anda tampaknya benar: hanya varian konstan yang dapat menghasilkan margin normal. Bukti saya terbatas pada kasus di mana harapan diketahui, dan karenanya dapat dianggap nol. Untuk kasus umum, argumen yang lebih canggih dari analisis fungsional tampaknya diperlukan.$\boldsymbol{\mu}$

Perhatikan bahwa pertanyaannya sebenarnya tentang campuran terus menerus dari normals serta tentang Bayes. Pernyataan ini membuktikan di sini bahwa campuran skala (kontinu) normals dapat menjadi normal hanya untuk campuran sepele.

Pertama pertimbangkan kasus normal satu dimensi dengan mean dan parameter presisi . Tanpa kehilangan keumuman, kita dapat mengasumsikan bahwa parameter adalah presisi itu sendiri. Jika distribusi marginal adalah normal, maka adalah kepadatan normal hingga konstanta multiplikatif. Kepadatan ini sebagai fungsi genap dari harus berbentuk untuk beberapa dan konstanta . Karena ini berlaku untuk$\mu = 0$$\omega := 1 / \Sigma >0$$\boldsymbol{\theta}$$\omega$$y$$\int \exp\{-y^2 \omega / 2\}\,\omega^{1/2} p(\omega)\,\text{d}\omega$$y$$c\exp\{ -y^2 \omega_0 / 2\}$$\omega_0 >0$$c >0$$y$kita dapatkan dengan untuk semua , yang menunjukkan bahwa ukuran hingga dengan fungsi kerapatan adalah sebanding dengan massa Dirac di karena kedua ukuran ini memiliki transformasi Laplace yang sama, hingga konstanta multiplikatif. Dengan demikian hampir pasti (as) sama dengan . $s := y^2$

$$\int_0^\infty \exp\{-s \omega \,/ 2\}\,\omega^{1/2} p(\omega)\text{d}\omega = c \exp\{ -s \omega_0 \,/ 2\}$$ $s \geq 0$$\omega \mapsto \omega^{1/2} p(\omega)$$\omega_0$$\omega$$\omega_0$

Bukti ini meluas ke normal dimensional dengan mean nol dan matriks presisi . Margin kemudian ditulis sebagai mana integralnya ada di set dari simetris pasti positif matriks. Jika integral ini identik dengan , maka dengan mengambil untuk skalar dan vektor sewenang-wenang$d$$\boldsymbol{\Omega}:=\boldsymbol{\Sigma}^{-1}$$\propto \int \exp\{-\mathbf{y}^\top \boldsymbol{\Omega}\,\mathbf{y} \,/ 2\}\, \left|\boldsymbol{\Omega}\right|^{1/2}p(\boldsymbol{\Omega})\,\text{d}\boldsymbol{\Omega}$$\mathcal{P}$$d \times d$$c\exp\{ -\mathbf{y}^\top \boldsymbol{\Omega}_0 \mathbf{y} / 2\}$$\mathbf{y}:= \sqrt{s} \,\boldsymbol{u}$$s \geq 0$$\mathbf{u}$ , kami menemukan di atas bahwa harus sama dengan , yang menunjukkan bahwa sama dengan . Buktinya bekerja bahkan jika ukuran yang ditulis dengan mudah memiliki kepadatan berkonsentrasi pada subset dari dengan Lebesgue mengukur nol, karena argumen Transformasi Laplace masih berlaku. Jadi buktinya bekerja untuk parameterisasi umum dari matriks presisi (atau varians).$\mathbf{u}^\top \boldsymbol{\Omega}\, \mathbf{u}$$\mathbf{u}^\top \boldsymbol{\Omega}_0 \mathbf{u}$$\boldsymbol{\Omega}$$\boldsymbol{\Omega}_0$$|\boldsymbol{\Omega}|^{1/2} p(\boldsymbol{\Omega})$$\mathcal{P}$

Asumsikan dan adalah apriori independen dan bahwa memiliki margin normal dengan mean dan varians . Saya akan membuktikan bahwa varians harus konstan, dan mean harus memiliki sebelumnya yang normal (mungkin merosot).$\mu$$\Sigma$$y$$\mu_0$$\Sigma_0$$\Sigma$$\mu$

Saya akan menempel pada kasus satu dimensi untuk kesederhanaan, menggunakan fungsi karakteristik (cf) dari , yaitu . Kita tahu bahwa } dan rumus yang sama berlaku untuk distribusi bersyarat pada dan , yang normal dengan asumsi. Jadi untuk setiap dan dengan mengatur ulang integral, kita harus memiliki $y$$\phi_y(t) := \mathbb{E}[e^{yit}]$$\phi_y(t) = \exp\{\mu_0 it - \Sigma_0 t^2 /2$$y$$\mu$$\Sigma$$t$

$$\mathbb{E}[e^{yit}] = \int \mathbb{E}\left[e^{yit} \, \vert \,\mu,\,\Sigma\right]\, p(\mu) p(\Sigma) \,\text{d}\mu \text{d} \Sigma = \int \exp\left\{ \mu it - \Sigma t^2/2 \right\} \,p(\mu) p(\Sigma) \,\text{d}\mu \text{d}\Sigma,$$ $$\exp\left\{ \mu_0 it - \Sigma_0 t^2 /2 \right\} = \left[\int \exp\left\{ \mu it \right\} p(\mu) \,\text{d}\mu \right] \left[\int \exp\left\{ -\Sigma t^2/2\right\} p(\Sigma) \,\text{d}\Sigma \right].$$ Asumsi yang diperlukan untuk pengaturan ulang seperti itu mudah diperiksa.

Integral pertama di sisi kanan, katakanlah $\phi_1(t)$, adalah cf dari $\mu$. Perhatikan sejak itu$\phi_1(t) e^{-\mu_0 it}$ ditemukan nyata, kita melihat bahwa distribusi $\mu$ adalah WRT simetris $\mu_0$, dan karenanya $\mathbb{E}[\mu] = \mu_0$, seperti yang mungkin telah diantisipasi.

Sekarang ternyata integral kedua di sisi kanan, katakanlah $\phi_2(t)$, juga cf. Untuk melihat itu, kita harus memeriksanya $\phi_2(0) = 1$itu $\phi_2$ kontinu di $t=0$ dan juga fungsinya $\phi_2$pasti positif (pd). Persyaratan pertama jelas, yang kedua dibuktikan dengan dominasi konvergensi. Sekarang beralih ke persyaratan pd: jika distribusi sebelumnya ditulis sebagai $p(\Sigma)\text{d}\Sigma$ adalah massa Dirac, lalu $\phi_2$ adalah pd karena $\phi_2$kemudian cf dari distribusi normal. Jika sebelumnya adalah campuran terpisah dari massa Dirac, ini benar juga sejak itu$\phi_2$maka cf dari campuran normals. Dengan argumen kontinuitas, kita melihat itu$\phi_2$ adalah pd

Sekarang mari kita gunakan teorema Lévy-Cramér yang kuat yang mengatakan bahwa keduanya berfungsi$\phi_j$ untuk $j=1$, $2$ harus mengambil formulir $\exp\{a_j i t - b_jt^2 /2 \}$ dengan $a_j$ nyata dan $b_j \geq 0$. Begitu$\mu$ harus normal (mungkin berdegenerasi) dengan rata-rata $a_1 = \mu_0$. Dengan aljabar sederhana yang kita miliki

$$\exp\{ -(\Sigma_0 - b_1) t^2 /2 \} = \int_0^\infty \exp\{ - \Sigma t^2 /2\} p(\Sigma) \, \text{d} \Sigma$$ yang berlaku untuk yang nyata $t$. Karena setiap real non-negatif menulis sebagai$t^2/2$, kita melihat bahwa transformasi Laplace sebelum $\Sigma$ harus sama dengan massa Dirac di $\Sigma_0 - b_1$ dan kita selesai.

Saya punya proposisi bukti untuk Anda, tetapi Anda perlu memeriksanya.

Asumsikan bahwa kemungkinan marginal adalah Gaussian:

$p(y)=\mathcal{N}(y,m,\Gamma)$

maka kepadatan sebelumnya dapat ditentukan oleh

$p(\theta)=\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)$

dimana $f$ memeriksa $\int_{\theta\in\Theta}f(\theta)d\theta =1$ dan $f(\theta)\geq 0$ untuk $\theta\in\Theta$. ($f(\theta)$ adalah $p(\theta|y)$).

Untuk menjadi kepadatan, integral dari kepadatan sebelumnya $p(\theta)$ di $\Theta$ harus sama dengan 1. Dengan kata lain,

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta =1$.

Itu mengarah ke

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta = \int_{\theta\in\Theta}f(\theta)d\theta$

Kesetaraan ini berlaku jika dan hanya jika $\mu(\theta)=m$ dan $\Sigma(\theta)=\Gamma$.