Memilih antara prior beta yang tidak informatif

Saya mencari prior yang tidak informatif untuk distribusi beta agar dapat bekerja dengan proses binomial (Hit / Miss). Pada awalnya saya berpikir tentang menggunakan $\alpha=1, \beta=1$ yang menghasilkan PDF yang seragam, atau Jeffrey sebelumnya $\alpha=0.5, \beta=0.5$ . Tapi saya sebenarnya mencari prior yang memiliki efek minimum pada hasil posterior, dan kemudian saya berpikir untuk menggunakan sebelum $\alpha=0, \beta=0$ . Masalahnya di sini adalah bahwa distribusi posterior saya hanya berfungsi jika saya memiliki setidaknya satu hit dan satu miss. Untuk mengatasi ini saya kemudian berpikir tentang menggunakan konstanta yang sangat kecil, seperti , hanya untuk memastikan bahwa posterior dan akan . $\alpha=0.0001, \beta=0.0001$ $\alpha$ $\beta$ $>0$

Adakah yang tahu kalau pendekatan ini bisa diterima? Saya melihat efek numerik dari mengubah ini sebelumnya, tetapi seseorang dapat memberi saya semacam interpretasi dengan menempatkan konstanta kecil seperti ini sebagai prior?

— Mateus
sumber

Untuk sampel besar dengan banyak hit dan miss, itu membuat sedikit perbedaan. Untuk sampel kecil, terutama jika tidak ada setidaknya satu pukulan dan satu kehilangan, itu membuat perbedaan besar; bahkan ukuran "konstanta sangat kecil" Anda dapat memiliki dampak yang substansial. Saya akan menyarankan eksperimen pikiran kunci untuk Anda bisa menjadi apa posterior masuk akal setelah ukuran sampel dari

: ini mungkin membujuk Anda bahwa sesuatu seperti Jeffrey s sebelum masuk akal

1

$1$

— Henry

Dan ada sebuah kertas yang Kerman sarankan 1/3 & 1/3, b

— Björn

Apa yang Anda maksud dengan `efek minimum pada hasil posterior '? Dibandingkan dengan apa?

— Will

Saya meningkatkan pemformatan dan judul pertanyaan Anda, jangan ragu untuk mengembalikan atau mengubah suntingan.

— Tim

Pertama-tama, tidak ada yang namanya tidak informatif sebelumnya . Di bawah ini Anda dapat melihat distribusi posterior yang dihasilkan dari lima prior "uninformative" berbeda (dijelaskan di bawah plot) diberikan data yang berbeda. Seperti yang Anda lihat dengan jelas, pilihan prior "uninformative" mempengaruhi distribusi posterior, terutama dalam kasus di mana data itu sendiri tidak memberikan banyak informasi .

Prior "tidak informatif" untuk distribusi beta berbagi properti yang , yang mengarah ke distribusi simetris, dan , pilihan umum: seragam (Bayes-Laplace) sebelumnya ( ), Jeffreys sebelum ( ), "Netral" sebelum ( ) yang diusulkan oleh Kerman (2011), Haldane sebelum ( $\alpha = \beta$ $\alpha \le 1, \beta \le 1$ $\alpha = \beta = 1$ $\alpha = \beta = 1/2$ $\alpha = \beta = 1/3$ $\alpha = \beta = 0$ ), atau perkiraannya ( dengan ) (lihat juga artikel Wikipedia yang hebat ). $\alpha = \beta = \varepsilon$ $\varepsilon > 0$

Parameter distribusi beta sebelumnya umumnya dianggap sebagai "pseudocount" keberhasilan ( ) dan kegagalan ( ) karena distribusi posterior model beta-binomial setelah mengamati keberhasilan dalam percobaan adalah $\alpha$ $\beta$ $y$ $n$

θ ∣ y \sim B (α + y, β + n - y)

$\theta \mid y \sim \mathcal{B}(\alpha + y, \beta + n - y)$

$\alpha,\beta$ $\alpha=\beta=1$ $n$

Pada pandangan pertama, Haldane sebelumnya, tampaknya yang paling "tidak informatif", karena mengarah ke rata-rata posterior, yang persis sama dengan perkiraan kemungkinan maksimum

\frac{α + y}{α + y + β + n - y} = y / n

$\frac{\alpha + y}{\alpha + y + \beta + n - y} = y / n$

$y=0$ $y=n$

Ada sejumlah argumen untuk dan menentang masing-masing prior "tidak informatif" (lihat Kerman, 2011; Tuyl et al, 2008). Misalnya, seperti yang dibahas oleh Tuyl et al,

$1$ $0$ $1$

Di sisi lain, menggunakan prior uniform untuk set data kecil mungkin sangat berpengaruh (pikirkan dalam hal pseudocounts). Anda dapat menemukan lebih banyak informasi dan diskusi tentang topik ini di banyak makalah dan buku pegangan.

Maaf, tetapi tidak ada satu pun prior "best", "most uninformative", atau "one-size-fitts-all". Masing-masing membawa beberapa informasi ke dalam model.

Kerman, J. (2011). Distribusi konjugat beta dan gamma noninformatif dan informatif netral sebelumnya. Jurnal Elektronik Statistik, 5, 1450-1470.

Tuyl, F., Gerlach, R. dan Mengersen, K. (2008). Perbandingan Bayes-Laplace, Jeffreys, dan Priors Lainnya. The American Statistician, 62 (1): 40-44.

— Tim
sumber