Apakah interpretasi Bayesian ada untuk REML?

Apakah interpretasi Bayesian tentang REML tersedia? Untuk intuisi saya, REML memiliki kemiripan yang kuat dengan apa yang disebut prosedur estimasi Bayes empiris , dan saya ingin tahu apakah beberapa jenis kesetaraan asimptotik (di bawah beberapa kelas prior, katakanlah) telah ditunjukkan. Baik Bayes empiris dan REML tampak seperti pendekatan estimasi 'dikompromikan' yang dilakukan dalam menghadapi parameter gangguan , misalnya.

Terutama, apa yang saya cari dengan pertanyaan ini adalah wawasan tingkat tinggi yang cenderung dihasilkan oleh argumen semacam ini. Tentu saja, jika argumen seperti ini karena alasan tertentu tidak dapat digunakan untuk REML, penjelasan mengapa demikian juga akan memberikan wawasan yang disambut baik!

bayesian asymptotics reml

— David C. Norris
sumber

Makalah ini tampaknya relevan: Foulley J. (1993). Argumen sederhana yang menunjukkan cara menurunkan kemungkinan maksimum yang dibatasi. J. Dairy Sci. 76, 2320–2324. 10.3168 / jds.S0022-0302 (93) 77569-4 sciencedirect.com/science/article/pii/…

— djw

Interpretasi Bayesian hanya ada dalam kerangka analisis Bayesian, untuk penduga yang berhubungan dengan distribusi posterior. Oleh karena itu, satu-satunya cara penaksir REML dapat diberikan interpretasi Bayesian (yaitu, penafsiran sebagai penaksir diambil dari posterior) adalah jika kita mengambil log-kemungkinan yang terbatas dalam analisis REML menjadi log-posterior dalam korespondensi. Analisis Bayes; dalam hal ini estimator REML akan menjadi estimator MAP dari teori Bayesian, dengan interpretasi Bayesian yang sesuai.

Mengatur penaksir REML menjadi penaksir MAP: Relatif sederhana untuk melihat bagaimana mengatur log-likelihood yang terbatas dalam analisis REML menjadi log-posterior dalam analisis Bayes. Untuk melakukan ini, kami memerlukan log-sebelumnya untuk menjadi negatif dari bagian kemungkinan log yang dihapus oleh proses REML. Misalkan kita memiliki kemungkinan log mana adalah kemungkinan log-residual dan adalah parameter yang menarik (dengan menjadi parameter gangguan kami). Mengatur sebelum ke memberikan posterior yang sesuai: $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

Ini memberi kita:

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

Hasil ini memungkinkan kita untuk menginterpretasikan penaksir REML sebagai penaksir MAP, sehingga penafsiran Bayesian yang tepat dari penaksir REML adalah bahwa penaksir yang memaksimalkan kepadatan posterior di bawah sebelumnya di atas .

Setelah mengilustrasikan metode untuk memberikan interpretasi Bayesian kepada estimator REML, kami sekarang mencatat bahwa ada beberapa masalah besar dengan pendekatan ini. Satu masalah adalah bahwa prior dibentuk menggunakan komponen log-likelihood , yang tergantung pada data. Oleh karena itu, "prior" yang diperlukan untuk mendapatkan interpretasi ini bukanlah prior real, dalam arti menjadi fungsi yang dapat dibentuk sebelum melihat data. Masalah lain adalah bahwa prior sering tidak tepat (mis., Itu tidak berintegrasi ke satu) dan itu mungkin benar-benar bertambah berat ketika nilai parameter menjadi ekstrim. (Kami akan menunjukkan contoh di bawah ini.) $\ell_*(\theta, \nu)$

Berdasarkan masalah ini, orang dapat berargumen bahwa tidak ada interpretasi Bayesian yang masuk akal untuk estimator REML. Sebagai alternatif, orang dapat berpendapat bahwa penaksir REML masih mempertahankan interpretasi Bayesian di atas, menjadi penaksir posteriori maksimum di bawah "prior" yang harus secara kebetulan menyelaraskan dengan data yang diamati dalam bentuk yang ditentukan, dan mungkin sangat tidak tepat.

Ilustrasi dengan data normal: Contoh klasik estimasi REML adalah untuk kasus data normal mana Anda tertarik pada presisi dan mean adalah parameter gangguan. Dalam hal ini Anda memiliki fungsi log-likelihood: $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

Dalam REML kami membagi log-likelihood ini menjadi dua komponen:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

Kami memperoleh estimator REML untuk parameter presisi dengan memaksimalkan kemungkinan residual, yang memberikan penaksir tidak bias untuk varians:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

Dalam hal ini, penaksir REML akan sesuai dengan penaksir MAP untuk kepadatan "sebelum":

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

Seperti yang Anda lihat, "prior" ini sebenarnya tergantung pada nilai data yang diamati, jadi itu tidak dapat benar-benar dibentuk sebelum melihat data. Selain itu, kita dapat melihat bahwa itu jelas merupakan "tidak patut" sebelumnya yang memberi bobot lebih dan lebih pada nilai-nilai ekstrem dan . (Sebenarnya, ini sebelumnya sangat gila.) Jika dengan "kebetulan" Anda membentuk sebelum yang terjadi sesuai dengan hasil ini maka penaksir REML akan menjadi penaksir MAP di bawah sebelumnya, dan karenanya akan memiliki interpretasi Bayesian sebagai estimator yang memaksimalkan posterior di bawah yang sebelumnya. $\theta$ $\nu$

— Ben - Pasang kembali Monica
sumber

Sungguh jawaban yang sangat jelas! Saya merasa saya memahami REML jauh lebih baik sebagai hasilnya, yang sebagian besar adalah tujuan utama saya. Pendekatan Anda dalam membuka argumen Anda tampaknya pada dasarnya adalah untuk membuat identifikasi, lalu 'menyelesaikan' pertanyaan sebelumnya. Kemudian Anda melanjutkan untuk menghancurkan yang sebelumnya, yang bagi saya terlihat seperti kritik (dari perspektif Bayesian) yang ditujukan terhadap REML. Dilakukan dengan indah!

— David C. Norris

Ya, itulah metode yang saya gunakan. Dengan analogi, kami biasanya memberikan MLE penafsiran Bayesian dengan metode yang sama --- yaitu, dengan mencari tahu bahwa MLE adalah MAP di bawah seragam sebelumnya. Jadi secara umum, ketika kita ingin menemukan analog Bayesian ke penduga klasik yang dibentuk oleh maksimalisasi beberapa fungsi, kita hanya mengatur fungsi itu ke posterior dan kemudian menyelesaikan untuk yang sebelumnya. Jika ini memberi masuk akal sebelumnya maka kita memiliki interpretasi Bayesian yang baik; jika yang sebelumnya gila (seperti dengan REML) maka kami memiliki argumen yang bagus bahwa tidak ada interpretasi Bayes yang baik.

— Ben - Reinstate Monica