Memperkirakan distribusi posterior kovarian gaussian multivariat

15

Saya perlu "mempelajari" distribusi gaussian bivariat dengan beberapa sampel, tetapi hipotesis yang baik pada distribusi sebelumnya, jadi saya ingin menggunakan pendekatan bayesian.

Saya mendefinisikan sebelumnya:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

Dan distribusi saya diberi hipotesis

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

Sekarang saya tahu terima kasih di sini bahwa untuk memperkirakan rata-rata yang diberikan data

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

Saya dapat menghitung:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

Sekarang muncul pertanyaan, mungkin saya salah, tetapi tampaknya bagi saya bahwa hanyalah matriks kovarians untuk parameter estimasi , dan bukan kovarian estimasi data saya. Apa yang saya ingin hitung juga $\mathbf{\Sigma_n}$ $\mathbf{\mu_n}$

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

agar distribusi yang ditentukan sepenuhnya dipelajari dari data saya.

Apakah ini mungkin? Apakah sudah diselesaikan dengan menghitung dan itu hanya dinyatakan dengan cara yang salah rumus di atas (atau saya hanya salah mengartikannya)? Referensi akan dihargai. Terima kasih banyak. $\mathbf{\Sigma_n}$

EDIT

Dari komentar, tampak bahwa pendekatan saya "salah", dalam arti bahwa saya mengasumsikan kovarians konstan, yang didefinisikan oleh . Apa yang saya butuhkan adalah meletakkan sebelumnya juga di atasnya, , tetapi saya tidak tahu distribusi apa yang harus saya gunakan, dan kemudian bagaimana prosedur untuk memperbaruinya. $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$

— unziberla
sumber

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

Kemudian ubah pertanyaan :-)

— Corone

11

Anda dapat melakukan pembaruan Bayesian untuk struktur kovarian dengan semangat yang sama dengan Anda memperbarui nilai tengah. Konjugat sebelum matriks kovarian multivariat-normal adalah distribusi Inverse-Wishart, jadi masuk akal untuk memulainya,

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

$X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

Ini kemudian dapat digunakan untuk memperbarui estimasi Anda dari matriks kovarians

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

Anda dapat memilih untuk menggunakan mean ini sebagai estimasi poin Anda untuk kovarian (Posterior Mean Estimator)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

atau Anda dapat memilih untuk menggunakan mode (Penaksir Posteriori Maksimum)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
sumber

Terima kasih banyak. Sekarang saya berasumsi sesuatu akan berubah dalam proses estimasi saya. Sebagai langkah pertama, saya harus memperkirakan kovarians

\hat{Σ}

$\mathbf{\hat{\Sigma}}$ dengan prosedur Anda, maka distribusi saya diberikan hipotesis yang diperkirakan akan

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$ dan sejak itu

\hat{Σ}

$\mathbf{\hat{\Sigma}}$ diperkirakan dan memiliki distribusinya sendiri. Saya cukup yakin ini entah bagaimana akan mengubah rumus saya sebelumnya untuk menghitung

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$ (seperti yang terjadi pada MLE gaussian saat menggunakan varians sampel).

— unziberla

Pendekatan yang Anda gambarkan akan digunakan

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$ sehingga saya memiliki nilai aktual untuk kovarians, seolah-olah saya tahu sebelumnya. Dalam pendekatan frequentist, ini kedengarannya salah, tapi mungkin ada sesuatu yang saya lewatkan dari kenyataan bahwa saya menganggap yang sebelumnya diketahui dan ini membuat prosedurnya benar?

— unziberla

7

Ok, saya menemukan solusi nyata untuk masalah saya. Saya mempostingnya meskipun jawaban yang benar untuk pertanyaan (salah tempat) saya adalah yang dipilih.

Pada dasarnya, pertanyaan saya menjelaskan bagaimana cara memperkirakan rata-rata mengetahui kovarians, dan jawaban bagaimana memperkirakan kovarians mengetahui rata-rata. Tapi masalah saya yang sebenarnya adalah estimasi dengan kedua parameter tidak diketahui.

Saya menemukan jawabannya di Wikipedia dengan derivasi yang dijelaskan di sini . Sebelum terkonjugasi normal multivariat adalah Normal-inverse-Wishart, yang pada dasarnya adalah distribusi atas multivarian Normals.

Parameter sebelumnya yang perlu ditentukan adalah $\mathbf{\mu}_0$ untuk menentukan rata-rata, $\mathbf{\Psi}$ untuk menentukan kovarians, dan dua nilai skalar $\kappa_0$ dan $\nu_0$ yang akan saya katakan mendefinisikan seberapa percaya diri kita pada estimasi dua parameter pertama masing-masing.

The updated distribution after observing $n$ samples of a $p$ -variate Normal has the form

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

where

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

so my desired estimated parameters are

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
sumber