Bagaimana distribusi gamma terbalik terkait dengan dan ?

Mengingat bahwa estimasi posterior dari kemungkinan normal dan gamma terbalik sebelum adalah: $\sigma'^{2}$ $\sigma^2$

σ^{' 2} \sim IG (α + \frac{n}{2}, β + \frac{\sum_{i = 1}^{n} (y_{i} - μ)^{2}}{2})

$\sigma'^{2}\sim\textrm{IG}\left(\alpha + \frac{n}{2}, \beta +\frac{\sum_{i=1}^n{(y_i-\mu)^2}}{2}\right)$

yang setara dengan

σ^{' 2} \sim IG (\frac{n}{2}, \frac{n σ^{2}}{2})

$\sigma'^{2}\sim\textrm{IG}\left( \frac{n}{2}, \frac{n\sigma^2}{2}\right)$

karena yang lemah sebelum menghapus dan dari persamaan 1: $\textrm{IG}(\alpha, \beta)$ $\sigma^2$ $\alpha$ $\beta$

σ^{' 2} \sim IG (\frac{n}{2}, \frac{\sum_{i = 1}^{n} (y_{i} - μ)^{2}}{2})

$\sigma'^{2}\sim\textrm{IG}\left( \frac{n}{2}, \frac{\sum_{i=1}^n{(y_i-\mu)^2}}{2}\right)$

Jelas bahwa estimasi posterior adalah fungsi dari ukuran sampel dan jumlah kuadrat dari kemungkinan. Tapi apa artinya ini? Ada derivasi di Wikipedia yang tidak saya ikuti. $\sigma^2$

Saya punya pertanyaan berikut

Bisakah saya mencapai persamaan kedua ini tanpa menggunakan aturan Bayes? Saya ingin tahu apakah ada sesuatu yang melekat dalam parameter IG yang terkait dengan mean dan varians independen dari kemungkinan normal.
Dapatkah saya menggunakan ukuran sampel dan standar deviasi dari penelitian sebelumnya untuk memperkirakan informasi sebelum , dan kemudian memperbarui sebelum dengan data baru? Ini kelihatannya mudah, tetapi saya tidak dapat menemukan contoh melakukannya, atau alasan mengapa ini akan menjadi pendekatan yang sah - selain apa yang dapat dilihat di posterior. $\sigma^2$
Apakah ada buku teks probabilitas atau statistik populer yang dapat saya baca untuk penjelasan lebih lanjut?

bayesian prior conjugate-prior

— Abe
sumber

Bukankah maksud Anda kemungkinan gamma terbalik dan gamma terbalik?

— Neil G

Pertama-tama, saya melihat dalam pertanyaan Anda beberapa kesalahpahaman: dari teorema Bayes Anda tidak mendapatkan estimasi posterior, tetapi seluruh distribusi posterior. Poin kedua adalah bahwa distribusi posterior ini tidak bergantung pada "jumlah kuadrat dari kemungkinan". Ini hanya tergantung pada ukuran sampel Anda (yaitu, n) dan nilai sampel, yang sangat alami dan masuk akal. Ketergantungan ini memengaruhi estimasi posterior rata-rata, varians, dll. Misalnya, Anda parameter rata-rata posterior rata-rata Anda sama dengan

\frac{1}{n - 2} \sum {(y_{i} - μ)}^{2}

$\frac{1}{n-2}\sum \left ( y_{i}-\mu \right )^{2}$

— Tomas

@ Thomas berdasarkan perkiraan, maksud saya estimasi distribusi posterior ;. Bukankah jumlah kuadrat istilah dalam posterior perhitungan yang sama persis dengan istilah ss dalam kemungkinan normal?

— Abe

@ Apakah saya baru saja bertanya (dan menjawab) pertanyaan yang terkait dengan pertanyaan Anda no. 2. Diberi SD dan SD dari SD cara menghitung gamma yang sesuai sebelum ketepatan distribusi normal: Pertanyaan ada di sini: stats.stackexchange.com/questions/41187/…

— Rasmus Bååth

Jawaban:

Saya pikir lebih tepat untuk berbicara tentang distribusi posterior dari parameter Anda daripada perkiraan posteriornya. Untuk kejelasan notasi, saya akan menjatuhkan prime dalam di bagian selanjutnya. $\sigma'^{2}$ $\sigma'^{2}$

Misalkan didistribusikan sebagai , - Saya drop untuk saat ini untuk membuat contoh heuristik - dan didistribusikan sebagai dan independen dari . $X$ $\mathcal{N}(0, \sigma^2)$ $\mu$ $1/\sigma^2 = \sigma^{-2}$ $\Gamma(\alpha, \beta)$ $X$

Pdf dari diberikan adalah Gaussian, yaitu $X$ $\sigma^{-2}$

f (x | σ^{- 2}) = \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{x^{2}}{2 σ^{2}}) .

$f(x|\sigma^{-2}) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{x^2}{2\sigma^2}\right).$

Pdf gabungan dari , diperoleh dengan mengalikan dengan - pdf dari . Ini keluar sebagai $(X, \sigma^{-2})$ $f(x,\sigma^{-2})$ $f(x|\sigma^{-2})$ $g(\sigma^{-2})$ $\sigma^{-2}$

f (x, σ^{- 2}) = \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{x^{2}}{2 σ^{2}}) \frac{β^{α}}{Γ (α)} \exp (- \frac{β}{σ^{2}}) \frac{1}{σ^{2 (α - 1)}} .

$f(x, \sigma^{-2}) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{x^2}{2\sigma^2}\right) \frac{\beta^{\alpha}}{\Gamma(\alpha)}\exp \left(-\frac{\beta}{ \sigma^2}\right)\frac{1}{\sigma^{2(\alpha-1)}}.$

Kami dapat mengelompokkan istilah yang serupa dan menulis ulang ini sebagai berikut

f (x, σ^{- 2}) \propto σ^{- 2 (α - 1 / 2)} \exp (- σ^{- 2} (β + x^{2} / 2)) .

$f(x, \sigma^{-2}) \propto \sigma^{-2(\alpha-1/2)} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right).$

Distribusi posterior menurut definisi adalah pdf dari diberikan , yang merupakan dengan formula Bayes ' . Untuk menjawab pertanyaan Anda 1. Saya rasa tidak ada cara untuk mengekspresikan dari tanpa menggunakan formula Bayes. Pada saat perhitungan, kami mengenali dalam rumus di atas sesuatu yang tampak seperti fungsi , jadi mengintegrasikan untuk mendapatkan cukup mudah. $\sigma^{-2}$ $\sigma^{-2}$ $x$ $f(x, \sigma^{-2}) / f(x)$ $f(\sigma^{-2}|x)$ $f(x, \sigma^{-2})$ $\Gamma$ $\sigma^{-2}$ $f(x)$

f (x) \propto (β + x^{2} / 2)^{- (α + 1 / 2)},

$f(x) \propto (\beta + x^2/2)^{-(\alpha+1/2)},$

jadi dengan membagi kita dapatkan

f (σ^{- 2} | x) \propto (β + x^{2} / 2) {(σ^{- 2} (β + x^{2} / 2))}^{α - 1 / 2} \exp (- σ^{- 2} (β + x^{2} / 2)) \propto {(σ^{- 2} (β + x^{2} / 2))}^{α - 1 / 2} \exp (- σ^{- 2} (β + x^{2} / 2)) .

$f(\sigma^{-2}|x) \propto \left(\beta + x^2/2 \right) \left( \sigma^{-2} \left(\beta + x^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right) \\ \propto \left( \sigma^{-2} \left(\beta + x^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right).$

Dan di sini dalam rumus terakhir kita mengenali distribusi dengan parameter . $\Gamma$ $(\alpha + 1/2, \beta + x^2/2)$

Jika Anda memiliki sampel IID , dengan mengintegrasikan semua , Anda akan mendapatkan dan kemudian sebagai produk dari istilah berikut: $((x_1, \sigma_1^{-2}), ..., (x_n, \sigma^{-2}_n))$ $\sigma_i^{-2}$ $f(x_1, ..., x_n)$ $f(\sigma_1^{-2}, ..., \sigma_n^{-2}|x_1, ..., x_n)$

f (σ_{1}^{- 2}, . . ., σ_{n}^{- 2} | x_{1}, . . ., x_{n}) \propto \prod_{i = 1}^{n} {(σ_{i}^{- 2} (β + x_{i}^{2} / 2))}^{α - 1 / 2} \exp (- σ_{i}^{- 2} (β + x_{i}^{2} / 2)),

$f(\sigma_1^{-2}, ..., \sigma_n^{-2}|x_1, ..., x_n) \propto \prod_{i=1}^n \left( \sigma_i^{-2} \left(\beta + x_i^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma_i^{-2} \left(\beta + x_i^2/2 \right)\right),$

Yang merupakan produk dari variabel . Dan kita terjebak di sini karena banyaknya . Selain itu, distribusi rata-rata variabel independen tersebut tidak mudah untuk dihitung. $\Gamma$ $\sigma_i^{-2}$ $\Gamma$

Namun, jika kita mengasumsikan bahwa semua pengamatan berbagi nilai yang sama dari (yang tampaknya menjadi kasus Anda) yaitu bahwa nilai diambil hanya sekali dari dan semua kemudian digambar dengan nilai , kami memperoleh $x_i$ $\sigma^{-2}$ $\sigma^{-2}$ $\Gamma(\alpha, \beta)$ $x_i$ $\sigma^{-2}$

f (x_{1}, . . ., x_{n}, σ^{- 2}) \propto σ^{- 2 (α + n / 2)} \exp (- σ^{- 2} (β + \frac{1}{2} \sum_{i = 1}^{n} x_{i}^{2})),

$f(x_1, ..., x_n, \sigma^{-2}) \propto \sigma^{-2 (\alpha + n/2)} \exp\left(-\sigma^{-2} \left(\beta + \frac{1}{2} \sum_{i=1}^n x_i^2\right) \right),$

dari mana kami menurunkan distribusi posterior sebagai persamaan Anda 1 dengan menerapkan formula Bayes. $\sigma^{-2}$

Distribusi posterior adalah yang bergantung pada dan , parameter Anda sebelumnya, ukuran sampel dan jumlah kuadrat yang diamati. Mean sebelumnya dari adalah dan variansnya adalah , jadi jika dan nilainya sangat kecil, yang sebelumnya membawa sedikit informasi tentang karena variansnya menjadi besar. Nilai-nilai yang kecil, Anda dapat menjatuhkannya dari persamaan di atas dan Anda berakhir dengan persamaan Anda 3. $\sigma^{-2}$ $\Gamma$ $\alpha$ $\beta$ $n$ $\sigma^{-2}$ $\alpha/\beta$ $\alpha/\beta^2$ $\alpha = \beta$ $\sigma^{-2}$

Dalam hal itu distribusi posterior menjadi independen dari yang sebelumnya. Rumus ini mengatakan bahwa kebalikan dari varians memiliki distribusi yang hanya bergantung pada ukuran sampel dan jumlah kuadrat. Anda dapat menunjukkan bahwa untuk variabel Gaussian dari mean yang diketahui, , penaksir varians, memiliki distribusi yang sama, kecuali bahwa itu adalah fungsi dari ukuran sampel dan nilai sebenarnya dari parter . Dalam kasus Bayesian, ini adalah distribusi parameter, dalam kasus yang sering terjadi, ini adalah distribusi estimator. $\Gamma$ $S^2$ $\sigma^2$

Mengenai pertanyaan Anda 2. Anda tentu saja dapat menggunakan nilai yang diperoleh dalam percobaan sebelumnya sebagai prior Anda. Karena kami membuat paralel antara interpretasi Bayesian dan sering di atas, kami dapat menguraikan dan mengatakan bahwa itu seperti menghitung varians dari ukuran sampel kecil dan kemudian mengumpulkan lebih banyak poin data: Anda akan memperbarui estimasi varians daripada membuangnya titik data pertama.

Mengenai pertanyaan Anda 3. Saya suka Pengantar Statistik Matematika oleh Hogg, McKean dan Craig, yang biasanya memberikan detail tentang cara menurunkan persamaan ini.

— gui11aume
sumber

Untuk pertanyaan 1, persamaan kedua mengikuti dari aturan Bayes seperti yang Anda tunjukkan, dan saya tidak tahu bagaimana cara menghindarinya.

Untuk pertanyaan 2, ya, Anda bisa melakukan ini. Cukup gunakan prior dengan bentuk yang sama dengan persamaan kedua Anda.

Untuk pertanyaan 3, saya akan mencari sesuatu tentang keluarga eksponensial. Mungkin seseorang akan merekomendasikan sumber yang bagus.

— Neil G
sumber