Kapan distribusi sampling frequentist tidak dapat ditafsirkan sebagai posterior Bayesian dalam pengaturan regresi?

Pertanyaan aktual saya ada di dua paragraf terakhir, tetapi untuk memotivasi mereka:

Jika saya mencoba memperkirakan rata-rata dari variabel acak yang mengikuti distribusi normal dengan varian yang diketahui, saya telah membaca bahwa meletakkan seragam sebelum hasil rata-rata dalam distribusi posterior yang sebanding dengan fungsi kemungkinan. Dalam situasi ini, interval kredibel Bayesian tumpang tindih sempurna dengan interval kepercayaan frequentist, dan maksimum Bayesian perkiraan posteriori sama dengan estimasi kemungkinan maksimum frequentist.

Dalam pengaturan regresi linier sederhana,

$Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2)$

meletakkan seragam sebelum dan invers-gamma sebelum dengan nilai parameter kecil menghasilkan posterior yang akan sangat mirip dengan frequentist , dan interval yang kredibel untuk distribusi posterior dari yang akan sangat mirip dengan interval kepercayaan di sekitar perkiraan kemungkinan maksimum. Mereka tidak akan persis sama karena sebelum pada memberikan sedikit pengaruh, dan jika estimasi posterior dilakukan melalui simulasi MCMC yang akan memperkenalkan sumber perbedaan lain, tetapi interval kredibel Bayesian di sekitar $\beta$ $\sigma^2$ $\hat\beta^{MAP}$ $\hat\beta^{MLE}$ $\beta|X$ $\sigma^2$ $\hat\beta^{MAP}$ dan interval kepercayaan frequentist sekitar akan cukup dekat satu sama lain, dan tentu saja ketika ukuran sampel meningkat mereka harus bertemu ketika pengaruh kemungkinan tumbuh untuk mendominasi yang sebelumnya. $\hat\beta^{MLE}$

Tetapi saya telah membaca bahwa ada juga situasi regresi di mana persamaan dekat ini tidak berlaku. Misalnya, regresi hierarkis dengan efek acak, atau regresi logistik - ini adalah situasi di mana, seperti yang saya pahami, tidak ada tujuan atau referensi referensi yang "baik".

Jadi pertanyaan umum saya adalah ini - dengan asumsi bahwa saya ingin membuat kesimpulan tentang $P(\beta|X)$ dan bahwa saya tidak memiliki informasi sebelumnya yang ingin saya gabungkan, mengapa saya tidak dapat melanjutkan dengan estimasi kemungkinan maksimum yang sering dalam situasi ini dan menafsirkan estimasi koefisien yang dihasilkan dan kesalahan standar sebagai perkiraan MAP Bayesian dan standar deviasi, dan secara implisit memperlakukan ini Perkiraan "posterior" yang dihasilkan dari prior yang pasti "tidak informatif" tanpa berusaha menemukan formulasi eksplisit dari prior yang akan mengarah ke posterior seperti itu? Secara umum, dalam bidang analisis regresi, kapan boleh melanjutkan di bawah garis-garis ini (memperlakukan kemungkinan seperti posterior) dan kapan tidak oke? Bagaimana dengan metode frequentist yang tidak berbasis kemungkinan, seperti metode kuasi-kemungkinan,

Apakah jawaban tergantung pada apakah target kesimpulan saya adalah perkiraan titik koefisien, atau probabilitas koefisien berada dalam kisaran tertentu, atau jumlah dari distribusi prediktif?

— Yakkanomica
sumber

Ini pada dasarnya adalah pertanyaan tentang -values $p$ dan kemungkinan maksimum. Biarkan saya mengutip Cohen (1994) di sini

Yang ingin kita ketahui adalah "Mengingat data ini, berapa probabilitas bahwa benar?" Tetapi seperti yang kita ketahui, apa yang dikatakan [ value] adalah "Mengingat bahwa benar, berapakah probabilitas data ini (atau lebih ekstrem)?" Ini tidak sama (...) $H_0$ $p$ $H_0$

Jadi -value memberitahu kita apa itu , sementara kami tertarik pada (lihat juga diskusi tentang Fisherian vs Neyman-Pearson $p$ $P(D|H_0)$ $P(H_0|D)$ kerangka kerja ).

Mari kita lupakan sejenak tentang nilai- . Probabilitas mengamati data kami dengan beberapa parameter adalah fungsi kemungkinan $p$ $\theta$

L (θ | D) = P (D | θ)

$L(\theta | D) = P(D|\theta)$

itu adalah salah satu cara memandang kesimpulan statistik. Cara lain adalah pendekatan Bayesian di mana kita ingin belajar secara langsung (bukan secara tidak langsung) tentang dengan menggunakan teorema Bayes dan menggunakan prior untuk $P(\theta|D)$ $\theta$

\underset{belakang}{\underset{⏟}{P (θ | D)}} \propto \underset{kemungkinan}{\underset{⏟}{P (D | θ)}} \times \underset{sebelumnya}{\underset{⏟}{P (θ)}}

$\underbrace{P(\theta|D)}_\text{posterior} \propto \underbrace{P(D|\theta)}_\text{likelihood} \times \underbrace{P(\theta)}_\text{prior}$

Sekarang, jika Anda melihat gambaran keseluruhan, Anda akan melihat bahwa -values dan kemungkinan menjawab pertanyaan yang berbeda dari estimasi Bayesian. $p$

Jadi, sementara perkiraan kemungkinan maksimum harus sama dengan perkiraan MAP Bayesian berdasarkan prior seragam, Anda harus ingat bahwa mereka menjawab pertanyaan yang berbeda.

Cohen, J. (1994). Bumi itu bulat (p <.05). Psikolog Amerika, 49, 997-1003.

— Tim
sumber

Terima kasih atas balasan Anda @Tim. Saya seharusnya lebih jelas - saya mengerti bahwa P (D | H) dan P (H | D) secara umum tidak sama, dan bahwa frequentist dan Bayesian berbeda pendapat tentang apakah tepat untuk menetapkan distribusi probabilitas ke parameter ( atau hipotesis lebih umum). Yang saya tanyakan adalah situasi di mana distribusi sampling (frequentist) dari estimator akan secara numerik setara dengan distribusi posterior (Bayesian) dari nilai parameter yang sebenarnya.

— Yakkanomica

Kelanjutan dari komentar saya sebelumnya: Anda menulis: "Jadi, sementara perkiraan kemungkinan maksimum harus sama dengan perkiraan MAP Bayesian di bawah prior seragam," - Saya bertanya apakah ada situasi di mana hubungan ini rusak - baik dalam hal estimasi titik dan distribusi di sekitar mereka.

— Yakkanomica

Satu tambahan akhir - Beberapa orang akan mengatakan bahwa kebajikan utama dari pendekatan Bayesian adalah kemampuannya untuk secara fleksibel menggabungkan pengetahuan sebelumnya. Bagi saya, daya tarik pendekatan Bayesian adalah dalam interpretasi - kemampuan untuk menetapkan distribusi probabilitas ke parameter. Perlu menentukan prior adalah gangguan. Saya ingin tahu dalam situasi apa saya dapat menggunakan metode frequentist tetapi menetapkan interpretasi Bayesian untuk hasil dengan berargumen bahwa hasil frequentist dan Bayesian bertepatan secara numerik di bawah prior noninformative masuk akal.

— Yakkanomica

@Yakkanomica Saya mengerti, ini adalah pertanyaan yang menarik, tetapi jawaban sederhana (seperti yang dinyatakan di atas) adalah Anda tidak boleh membuat interpretasi seperti itu karena metode yang paling sering menjawab pertanyaan yang berbeda dari Bayesian. Perkiraan titik ML dan MAP harus disepakati, tetapi interval kepercayaan dan IPM dapat berbeda dan tidak dapat diartikan sebagai pertukaran.

— Tim

Tapi @Tim, ada situasi di mana interval kepercayaan dan HDI saling tumpang tindih. Sebagai contoh, bandingkan perkiraan ML pada hal.1906 dengan perkiraan posterior Bayesian (berdasarkan prior priors pada koefisien dan IG sebelum skala) pada hal.1908: contoh PROC GENMOD . Estimasi titik ML dan batas kepercayaan 95% sangat mirip dengan estimasi rata-rata posterior Bayesian dan interval HPD 95%.

— Yakkanomica