Bayes faktor dengan prior yang tidak tepat

Saya punya pertanyaan tentang perbandingan model menggunakan faktor Bayes. Dalam banyak kasus, ahli statistik tertarik untuk menggunakan pendekatan Bayesian dengan prior yang tidak tepat (misalnya beberapa prior Jeffreys dan prior reference).

Pertanyaan saya adalah, dalam kasus-kasus di mana distribusi posterior parameter model didefinisikan dengan baik, apakah valid untuk membandingkan model menggunakan faktor Bayes di bawah penggunaan prior yang tidak tepat?

Sebagai contoh sederhana pertimbangkan membandingkan model Normal vs model Logistik dengan prior Jeffreys.

bayesian model-selection prior

— Jeffrey
sumber

Sebelumnya yang tidak tepat memainkan peran "prior noninformative". Jika Anda berada dalam perspektif "tidak ada kepercayaan sebelumnya" maka jelas Anda tidak bisa menetapkan probabilitas sebelumnya untuk model. Namun ada beberapa makalah oleh Berger & penulis lain tentang gagasan "faktor intrinsik Bayes"; ini terdengar seperti faktor Bayes dengan prior noninformatif tapi saya tidak bisa mengatakan lebih banyak karena saya belum pernah membaca makalah ini. Mungkin juga ada metode "pemilihan model Bayesian" lainnya (mengetik istilah-istilah ini di Google menghasilkan beberapa makalah oleh Berger).

— Stéphane Laurent

@ StéphaneLaurent Interpretasi dari prior pada parameter berbeda dari probabilitas sebelumnya dari model. Ini bisa dilihat dari ekspresi umum untuk faktor Bayes. Anda juga dapat menetapkan prior uniform untuk model, tidak tepat sebelum parameter, dan melihat apa yang data beri tahu Anda posteriori .

— Jeffrey

Saya merekomendasikan membaca Kriteria untuk pilihan model Bayesian dengan aplikasi untuk pemilihan variabel (AoS, 2012), khususnya Lemma 1. Pada dasarnya, prior yang tidak tepat tidak dapat digunakan untuk parameter yang tidak umum.

Tidak. Sementara prior yang tidak tepat dapat diterima untuk estimasi parameter dalam keadaan tertentu (karena teorema Bernstein-von Mises ), mereka adalah no-no besar untuk perbandingan model, karena apa yang dikenal sebagai paradoks marginalisasi .

Masalahnya, seperti namanya, adalah bahwa distribusi marjinal dari distribusi yang tidak tepat tidak didefinisikan dengan baik. Diberi kemungkinan dan sebelumnya : faktor Bayes mengharuskan menghitung kemungkinan marginal : $p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

Jika Anda berpikir tentang tindakan tidak patut yang sebelumnya hanya diketahui hingga proporsionalitas (mis. ), maka masalahnya adalah akan dikalikan dengan konstanta yang tidak diketahui. Dalam faktor Bayes, Anda akan menghitung rasio sesuatu dengan konstanta yang tidak diketahui. $p_1(\theta) \propto 1$ $p_1(x)$

Beberapa penulis, terutama ET Jaynes, mencoba menyiasatinya dengan mendefinisikan prior yang tidak tepat sebagai batas urutan prior yang tepat: maka masalahnya adalah mungkin ada dua urutan pembatas berbeda yang kemudian memberikan jawaban berbeda.

— Simon Byrne
sumber

Terima kasih atas jawaban Anda. Masalah tentang konstanta proporsionalitas dapat dihindari dengan menggunakan parameter yang tidak tepat yang sama sebelumnya pada parameter umum, seperti parameter lokasi dan skala, seperti yang disebutkan dalam The Bayesian Choice hal. 349. Jika saya memahami dengan benar, paradoks marginalisasi hanya berlaku untuk prior dengan struktur tertentu.

— Jeffrey

Masalahnya adalah bahwa kasus yang tidak realistis akan mendominasi: jika Anda memiliki seragam sebelum parameter lokasi Anda, Anda akan menempatkan 100x berat pada interval [100.200], seperti yang Anda lakukan pada [0,1] (yang mungkin tampak konyol di beberapa keadaan).

— Simon Byrne

Tetapi masalahnya adalah bahwa prior yang tidak tepat tidak dapat ditafsirkan dalam istilah probabilistik. Tidak ada bobot yang diberikan bahwa interpretasi probabilistik dari prior telah hilang karena tidak tepat.

— Jeffrey

Ini bukan probabilistik, tetapi masih merupakan ukuran, sehingga Anda dapat membuat perbandingan relatif (yaitu ada 100x "massa" pada interval [100.200] seperti pada [0,1]).

— Simon Byrne

Saya pikir analisis ini harus dilakukan pada posterior daripada pada sebelumnya. Sebagai contoh, beberapa prior prior tidak cocok, seperti Independence Jeffrey untuk kasus Normal . Anda dapat menerapkan interpretasi tersebut pada prior ini, tetapi prior ini menghasilkan interval posterior dengan properti frequentist yang hebat. Dalam hal ini, kasus yang tidak realistis tidak mendominasi. (Ngomong-ngomong, untuk diskusi,)

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$

— Jeffrey