Langkah-langkah untuk mencari tahu distribusi posterior ketika mungkin cukup sederhana untuk memiliki bentuk analitik?

Ini juga ditanyakan di Computational Science.

Saya mencoba menghitung perkiraan Bayesian dari beberapa koefisien untuk autoregresi, dengan 11 sampel data: mana adalah Gaussian dengan rerata 0 dan varians Distribusi sebelumnya pada vektor adalah Gaussian dengan rerata dan matriks kovarians diagonal dengan entri diagonal sama dengan .

Y_{i} = μ + α \cdot Y_{i - 1} + ϵ_{i}

$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$

ϵ_{i}

$\epsilon_{i}$

σ_{e}^{2}

$\sigma_{e}^{2}$

(μ, α)^{t}

$(\mu, \alpha)^{t}$

(0, 0)

$(0,0)$

σ_{p}^{2}

$\sigma_{p}^{2}$

Berdasarkan rumus autoregresi, ini berarti bahwa distribusi titik data ( ) normal dengan rata-rata dan varians . Jadi, kepadatan untuk semua titik data bersama-sama (dengan asumsi independensi, yang baik untuk program yang saya tulis), akan menjadi: $Y_{i}$ $\mu + \alpha\cdot{}Y_{i-1}$ $\sigma_{e}^{2}$ $(Y)$

p (Y | (μ, α)^{t}) = \prod_{i = 2}^{11} \frac{1}{\sqrt{2 π σ_{e}^{2}}} \exp \frac{- (Y_{i} - μ - α \cdot Y_{i - 1})^{2}}{2 σ_{e}^{2}} .

$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$

Dengan teorema Bayes, kita dapat mengambil produk dari kepadatan di atas dengan kepadatan sebelumnya, dan kemudian kita hanya perlu konstanta normalisasi. Firasat saya adalah ini seharusnya berfungsi sebagai distribusi Gaussian, jadi kita bisa khawatir tentang konstanta normalisasi pada akhirnya daripada secara eksplisit menghitungnya dengan integral atas dan . $\mu$ $\alpha$

Ini adalah bagian yang membuat saya kesulitan. Bagaimana cara saya menghitung perkalian kepadatan sebelumnya (yang multivariat) dan produk ini dari kepadatan data univariat? Posterior harus murni kepadatan dan , tapi saya tidak bisa melihat bagaimana Anda akan keluar dari produk seperti itu. $\mu$ $\alpha$

Setiap pointer sangat membantu, bahkan jika Anda hanya mengarahkan saya ke arah yang benar dan kemudian saya harus pergi dan melakukan aljabar berantakan (yang sudah saya coba beberapa kali).

Sebagai titik awal, berikut adalah bentuk pembilang dari aturan Bayes:

\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [\frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] .

$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$

Masalahnya adalah bagaimana melihat bahwa ini berkurang hingga kepadatan Gaussian . $(\mu, \alpha)^{t}$

Ditambahkan

Pada akhirnya, ini bermuara pada masalah umum berikut. Jika Anda diberi beberapa ekspresi kuadratik seperti bagaimana Anda menempatkannya dalam bentuk kuadratik untuk beberapa matriks 2x2 ? Ini cukup sederhana dalam kasus mudah, tetapi proses apa yang Anda gunakan untuk mendapatkan estimasi rata-rata, dan ?

A μ^{2} + B μ α + C α^{2} + J μ + K α + L

$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$

(μ - \hat{μ}, α - \hat{α}) Q (μ - \hat{μ}, α - \hat{α})^{t}

$(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q

$Q$

\hat{μ}

$\hat{\mu}$

\hat{α}

$\hat{\alpha}$

Catatan, saya mencoba opsi langsung untuk memperluas rumus matriks dan kemudian mencoba untuk menyamakan koefisien seperti di atas. Masalahnya, dalam kasus saya, adalah bahwa konstanta adalah nol, dan kemudian saya akhirnya mendapatkan tiga persamaan dalam dua yang tidak diketahui, sehingga tidak ditentukan untuk hanya mencocokkan koefisien (bahkan jika saya mengasumsikan matriks bentuk kuadrat simetris). $L$

bayesian mathematical-statistics posterior

— Ely
sumber

Jawaban saya untuk [pertanyaan ini] ( stats.stackexchange.com/questions/22852/… ) dapat membantu. Perhatikan bahwa Anda memerlukan prior untuk pengamatan pertama Anda - iterasi berhenti di sana.

— probabilityislogic

Saya tidak mengerti mengapa saya membutuhkannya dalam kasus ini. Saya seharusnya memperlakukan interval waktu seolah-olah mereka independen bersyarat diberikan pengamatan. Perhatikan bahwa produk kerapatan sambungan hanya dari . Saya tidak berpikir saya seharusnya mendapatkan formula yang diperbarui secara berurutan di sini, hanya rumus tunggal untuk posterior .

i = 2..11

$i=2..11$

p ((μ, α)^{t} | Y)

$p((\mu,\alpha)^{t}\quad |Y)$

— ely

"Multivariat" pada sebelumnya tidak bertentangan dengan "univariat" dalam kepadatan data, karena mereka adalah kepadatan dalam .

p (α, μ)

$p(\alpha,\mu)$

y_{i}

$y_i$

— Xi'an

Petunjuk yang ada dalam jawaban saya untuk jawaban sebelumnya adalah untuk melihat bagaimana saya mengintegrasikan parameter - karena Anda akan melakukan integral yang persis sama di sini. Pertanyaan Anda mengasumsikan parameter varians diketahui, sehingga mereka adalah konstanta. Anda hanya perlu melihat ketergantungan pada pembilang. Untuk melihat ini, perhatikan bahwa kita dapat menulis: $\alpha,\mu$

p (μ, α | Y) = \frac{p (μ, α) p (Y | μ, α)}{\int \int p (μ, α) p (Y | μ, α) d μ d α}

$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$

= \frac{\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Perhatikan bagaimana kita dapat menarik faktor pertama keluar dari integral ganda pada penyebut, dan dibatalkan dengan pembilang. Kita juga dapat menarik jumlah kuadrat dan itu juga akan membatalkan. Integral yang tersisa sekarang adalah (setelah memperluas istilah kuadrat): $\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$ $\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$

= \frac{\exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Sekarang kita dapat menggunakan hasil umum dari pdf normal.

\int \exp (- a z^{2} + b z - c) d z = \sqrt{\frac{π}{a}} \exp (\frac{b^{2}}{4 a} - c)

$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$ Ini mengikuti menyelesaikan persegi pada dan mencatat bahwa tidak bergantung pada . Perhatikan bahwa integral dalam adalah dalam bentuk ini dengan dan dan . Setelah melakukan integral ini, Anda akan menemukan bahwa integral yang tersisa lebih dari

- a z^{2} + b z

$-az^2+bz$

c

$c$

z

$z$

μ

$\mu$

a = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}}

$a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$

b = \frac{\sum_{i = 2}^{11} Y_{i} - α \sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}}

$b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$

c = \frac{α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{2 σ_{e}^{2}} + \frac{α^{2}}{2 σ_{p}^{2}}

$c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$

α

$\alpha$ juga dari formulir ini, sehingga Anda dapat menggunakan rumus ini lagi, dengan . Maka Anda harus dapat menulis posterior Anda dalam bentuk mana adalah matriks

a, b, c

$a,b,c$

\frac{1}{2 π | V |^{\frac{1}{2}}} \exp [- \frac{1}{2} (μ - \hat{μ}, α - \hat{α}) V^{- 1} (μ - \hat{μ}, α - \hat{α})^{T}]

$\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$

V

$V$

2 \times 2

$2\times 2$

Beri tahu saya jika Anda membutuhkan lebih banyak petunjuk.

memperbarui

(catatan: rumus yang benar, harus bukan ) $10\mu^2$ $\mu^2$

jika kita melihat bentuk kuadratik yang Anda tulis dalam pembaruan, kami melihat ada koefisien ( tidak relevan untuk posterior karena kami selalu dapat menambahkan konstanta yang akan dibatalkan dalam penyebut). Kami juga memiliki tidak diketahui . Karenanya ini adalah masalah "berpose bagus" selama persamaannya bebas linear. Jika kita memperluas kuadratik kita dapatkan: $5$ $L$ $5$ $\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$ $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q_{11} (μ - \hat{μ})^{2} + Q_{22} (α - \hat{α})^{2} + 2 Q_{12} (μ - \hat{μ}) (α - \hat{α})

$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$

= Q_{11} μ^{2} + 2 Q_{21} μ α + Q_{22} α^{2} - (2 Q_{11} \hat{μ} + 2 Q_{12} \hat{α}) μ - (2 Q_{22} \hat{α} + 2 Q_{12} \hat{μ}) α +

$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$

+ Q_{11} {\hat{μ}}^{2} + Q_{22} {\hat{α}}^{2} + 2 Q_{12} \hat{μ} \hat{α}

$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$

Membandingkan koefisien urutan kedua, kita mendapatkan yang memberi tahu kita seperti apa bentuk matriks kovarians (terbalik). Juga kita memiliki dua persamaan sedikit lebih rumit untuk setelah menggantikan . Ini dapat ditulis dalam bentuk matriks sebagai: $A=Q_{11},B=2Q_{12},C=Q_{22}$ $\hat{\alpha},\hat{\mu}$ $Q$

- (\begin{matrix} 2 A & B \\ B & 2 C \end{matrix}) (\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = (\begin{matrix} J \\ K \end{matrix})

$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$

Jadi estimasi diberikan oleh:

(\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = - {(\begin{matrix} 2 A & B \\ B & 2 C \end{matrix})}^{- 1} (\begin{matrix} J \\ K \end{matrix}) = \frac{1}{4 A C - B^{2}} (\begin{matrix} B K - 2 J C \\ B J - 2 K A \end{matrix})

$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$

Menunjukkan bahwa kami tidak memiliki taksiran unik kecuali . Sekarang kita memiliki: $4AC\neq B^2$

\begin{array}{cc} A = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} & B = \frac{\sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}} & C = \frac{\sum_{i = 1}^{10} Y_{i}^{2}}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} \\ J = - \frac{\sum_{i = 2}^{11} Y_{i}}{σ_{e}^{2}} & K = - \frac{\sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{σ_{e}^{2}} \end{array}

$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$

Perhatikan bahwa jika kita mendefinisikan untuk dan mengambil batas maka perkiraan untuk diberikan oleh kuadrat terkecil yang biasa estimasi dan mana dan . Jadi estimasi posterior adalah rata-rata tertimbang antara estimasi OLS dan estimasi sebelumnya . $X_i=Y_{i-1}$ $i=2,\dots,11$ $\sigma^2_p\to\infty$ $\mu,\alpha$ $\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$ $\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$ $\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$ $\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$ $(0,0)$

— probabilityislogic
sumber

Ini tidak terlalu membantu karena saya menyebutkan secara spesifik bahwa bukan penyebut yang penting di sini. Penyebut hanya konstanta normalisasi, yang akan terlihat jelas setelah Anda mengurangi pembilangnya menjadi bentuk Gaussian. Jadi trik untuk mengevaluasi integral dalam penyebut secara matematis sangat keren, tetapi tidak diperlukan untuk aplikasi saya. Satu-satunya masalah yang perlu saya selesaikan adalah memanipulasi pembilang.

— ely

Jawaban ini memberi Anda pembilang dan penyebut. Pembilang menunjukkan polinomial derajat kedua yang tepat dalam yang mengarah ke bentuk kuadrat normal, seperti yang ditekankan oleh probabilityislogic.

(α, μ)

$(\alpha,\mu)$

— Xi'an

@ em - dengan menghitung konstanta normalisasi Anda akan membangun bentuk kuadratik yang diperlukan. itu akan berisi persyaratan yang diperlukan untuk melengkapi kuadrat

— probabilityislogic

Saya tidak mengerti bagaimana ini memberi Anda bentuk kuadratik. Saya telah mengerjakan dua integral dalam penyebut menggunakan identitas integral Gaussian yang Anda poskan. Pada akhirnya, saya hanya mendapatkan konstanta yang besar dan berantakan. Tampaknya tidak ada cara yang jelas untuk mengambil konstanta itu dan mengubahnya menjadi sesuatu yang menentukan faktor 1/2, dll. Belum lagi saya tidak melihat bagaimana semua ini menjelaskan bagaimana menghitung yang baru ' berarti vektor ' .. Inilah yang saya minta bantuan dalam pertanyaan awal.

(\hat{μ}, \hat{α})^{t}

$(\hat{\mu},\hat{\alpha})^{t}$

— ely

Terima kasih banyak untuk penambahan detailnya. Saya membuat beberapa kesalahan konyol ketika mencoba melakukan aljabar untuk mengetahui bentuk kuadratik. Komentar Anda tentang kaitannya dengan estimator OLS juga sangat menarik dan dihargai. Saya pikir ini akan mempercepat kode saya karena saya akan dapat mengambil sampel dari bentuk analitik yang memiliki built-in, metode yang dioptimalkan. Rencana awal saya adalah menggunakan Metropolis-Hastings untuk mengambil sampel dari ini, tetapi sangat lambat. Terima kasih!

— ely