Memperbarui faktor Bayes

Faktor A Bayes didefinisikan dalam Bayesian pengujian hipotesis dan Bayesian pemilihan model dengan rasio dua likelihood marginal: diberikan sampel iid $(x_1,\ldots,x_n)$ dan kepadatan masing-masing sampling $f_1(x|\theta)$ dan $f_2(x|\eta)$ , dengan prior yang sesuai $\pi_1$ dan $\pi_2$ , faktor Bayes untuk membandingkan kedua model adalah

B_{12} (x_{1}, \dots, x_{n}) \overset{def}{=} \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \overset{def}{=} \frac{\int \prod_{i = 1}^{n} f_{1} (x_{i} | θ) π_{1} (d θ)}{\int \prod_{i = 1}^{n} f_{2} (x_{i} | η) π_{2} (d η)}

$\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}$ Sebuahbuku yangsaya tinjau saat ini memiliki pernyataan aneh bahwa faktor Bayes di atas

B_{12} (x_{1}, \dots, x_{n})

$\mathfrak{B}_{12}(x_1,\ldots,x_n)$ "dibentuk oleh mengalikan masing-masing [faktor Bayes] bersama-sama "(hal.118). Ini benar secara formal jika seseorang menggunakan dekomposisi

\begin{aligned} B_{12} (x_{1}, \dots, x_{n}) & = \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \\ = \frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})} \times \frac{m_{1} (x_{n - 1} | x_{n - 2}, \dots, x_{1})}{m_{2} (x_{n - 1} | x_{n - 2}, \dots, x_{1})} \times \dots \\ \dots \times \frac{m_{1} (x_{1})}{m_{2} (x_{1})} \end{aligned}

$\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}$ tapi saya tidak melihat keunggulan komputasi dalam dekomposisi ini sebagai pembaruan oleh

\frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})}

$\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}$ memerlukan upaya komputasi yang sama dengan perhitungan awal

\frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})}

$\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}$ luar contoh mainan buatan.

Pertanyaan: Apakah ada cara generik dan komputasi efisien memperbarui faktor Bayes dari $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ ke $\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})$ yang tidak memerlukan recomputing seluruh marginals $m_1(x_1,\ldots,x_n)$ dan $m_2(x_1,\ldots,x_n)$ ?

Intuisi saya adalah bahwa, selain filter partikel, yang memang melanjutkan sepanjang memperkirakan Bayes faktor $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ satu pengamatan baru pada satu waktu, tidak ada cara alami menjawab pertanyaan ini.

— Xi'an
sumber

Tampaknya tidak jelas bagi saya bahwa kata-kata itu menyiratkan faktorisasi berurutan , karena pengamatannya benar. Selama sekolah pascasarjana, seorang profesor menyebutkan bahwa produk tersebut menyiratkan bahwa seseorang dapat menggunakan perkiraan asimptotik untuk analisis Bayesian tetapi anehnya hal ini tidak menarik perhatian (sarkasme). Mungkin buku itu bisa mengisyaratkan itu?

— Cliff AB

@CliffAB: Ya, Anda bisa menulis ulang kemungkinan sebagai rata-rata istilah individual, konvergen ke jarak Kullback-Leibler dari distribusi sebenarnya. Tapi saya tidak berpikir ini masalahnya, meskipun buku ini tidak cukup jelas untuk membuat semua opsi terbuka.

— Xi'an

m_{1} (x_{n - 1} | x_{n - 1}, \dots, x_{1})

$m_1(x_{n-1}|x_{n-1}, \ldots, x_1)$

$n$ $\pi_n$

\begin{aligned} m (x_{n + 1} | x_{1}, . . ., x_{n}) & = \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_{n+1} | x_1,...,x_n) &= \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Karenanya, Anda memiliki:

\begin{aligned} m (x_{1}, . . ., x_{n + 1}) & = m (x_{1}, . . ., x_{n}) \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_1,...,x_{n+1}) &= m(x_1,...,x_n) \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Membandingkan dua kelas model melalui faktor Bayes, kita kemudian mendapatkan persamaan rekursif:

\begin{aligned} B_{12} (x_{1}, . . ., x_{n + 1}) & = B_{12} (x_{1}, . . ., x_{n}) \cdot \frac{\int_{Θ_{1}} f (x_{n + 1} | θ) π_{1, n} (d θ | x_{1}, . . ., x_{n})}{\int_{Θ_{2}} f (x_{n + 1} | θ) π_{2, n} (d θ | x_{1}, . . ., x_{n})} . \end{aligned}

$\begin{equation} \begin{aligned} \mathfrak{B}_{12}(x_1,...,x_{n+1}) &= \mathfrak{B}_{12}(x_1,...,x_{n}) \cdot \frac{\int _{\Theta_1} f(x_{n+1}|\theta) \pi_{1,n}(d \theta | x_1,...,x_n)}{\int _{\Theta_2} f(x_{n+1}|\theta) \pi_{2,n}(d \theta | x_1,...,x_n)}. \\[6pt] \end{aligned} \end{equation}$

Ini masih melibatkan integrasi pada rentang parameter, jadi saya setuju dengan pandangan Anda bahwa tampaknya tidak ada keunggulan komputasi lebih dari sekadar mengkomputasi ulang faktor Bayes melalui rumus awal yang Anda berikan. Namun demikian, Anda dapat melihat bahwa ini tidak mengharuskan Anda untuk menghitung ulang marjinal untuk vektor data sebelumnya. (Alih-alih, kami menghitung kepadatan prediktif dari titik data baru yang tergantung pada data sebelumnya, di bawah masing-masing kelas model.) Seperti Anda, saya tidak benar-benar melihat keunggulan komputasi ini, kecuali jika rumus integral ini disederhanakan dengan mudah. Bagaimanapun, saya kira itu memberi Anda formula lain untuk memperbarui faktor Bayes.

— Ben - Pasang kembali Monica
sumber

Terima kasih. Memang benar bahwa marginal tidak perlu dihitung ulang, stricto sensu , tetapi jumlah perhitungannya tampaknya sama, seperti yang Anda katakan.

— Xi'an

n

$n$