Kapan metode Bayesian lebih disukai daripada Frequentist?

Saya benar-benar ingin belajar tentang teknik Bayesian, jadi saya telah berusaha sedikit belajar sendiri. Namun, saya mengalami kesulitan melihat ketika menggunakan teknik Bayesian yang pernah memberi keuntungan atas metode Frequentist. Sebagai contoh: Saya telah melihat dalam literatur sedikit tentang bagaimana beberapa menggunakan prior informatif sedangkan yang lain menggunakan non-informatif sebelumnya. Tetapi jika Anda menggunakan prior non-informatif (yang tampaknya sangat umum?) Dan Anda menemukan bahwa distribusi posterior adalah, katakanlah, distribusi beta ... tidak bisakah Anda hanya pas dengan distribusi beta di awal dan dipanggil itu bagus? Saya tidak melihat bagaimana membangun distribusi sebelumnya yang tidak memberi tahu Anda apa-apa ... dapat, yah, benar-benar memberi tahu Anda sesuatu?

Ternyata beberapa metode yang telah saya gunakan dalam R menggunakan campuran metode Bayesian dan Frequentist (penulis mengakui ini agak tidak konsisten) dan saya bahkan tidak bisa membedakan bagian mana yang Bayesian. Selain pas distribusi, saya bahkan tidak tahu BAGAIMANA Anda akan menggunakan metode Bayesian. Apakah ada "regresi Bayesian"? Terlihat seperti apa? Yang bisa saya bayangkan adalah menebak distribusi yang mendasarinya berulang-ulang sementara Frequentist berpikir tentang data beberapa, melihat itu, melihat distribusi Poisson dan menjalankan GLM. (Ini bukan kritik ... Aku benar-benar tidak mengerti!)

Jadi. Mungkin beberapa contoh dasar akan membantu? Dan jika Anda mengetahui beberapa referensi praktis untuk pemula sejati seperti saya, itu akan sangat membantu juga!

Berikut ini beberapa tautan yang mungkin menarik bagi Anda untuk membandingkan metode frequentist dan Bayesian:

• http://www.stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
  • Diarsipkan di sini: https://web.archive.org/web/20140308021414/https://stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
• http://www.bayesian-inference.com/untunganagesbayesian
• http://www.researchgate.net/post/Bayesian_vs_frequentist_statistics2

Singkatnya, cara saya memahaminya, diberikan satu set data tertentu, sering percaya bahwa ada benar, distribusi yang mendasari dari mana kata data dihasilkan. Ketidakmampuan untuk mendapatkan parameter yang tepat adalah fungsi dari ukuran sampel yang terbatas. Bayesian, di sisi lain, berpikir bahwa kita mulai dengan beberapa asumsi tentang parameter (bahkan jika tanpa sadar) dan menggunakan data untuk memperbaiki pendapat kami tentang parameter tersebut. Keduanya berusaha mengembangkan model yang dapat menjelaskan pengamatan dan membuat prediksi; perbedaannya ada pada asumsi (baik aktual dan filosofis). Sebagai pernyataan yang bernas, tidak ketat, dapat dikatakan bahwa frequentist percaya bahwa parameternya tetap dan datanya acak; Bayesian percaya bahwa data sudah diperbaiki dan parameternya acak. Mana yang lebih baik atau lebih disukai? Untuk menjawab itu Anda harus menggali dan menyadari secara adilasumsi apa yang diperlukan oleh masing-masing (misalnya parameter asimtotik normal?).

Salah satu aspek yang menarik dari kontras antara kedua pendekatan itu adalah sangat sulit untuk memiliki interpretasi formal untuk banyak kuantitas yang kita peroleh dalam domain frequentist. Salah satu contoh adalah semakin pentingnya metode hukuman (penyusutan). Ketika seseorang mendapatkan estimasi kemungkinan maksimum yang dihukum, estimasi titik bias dan "interval kepercayaan" sangat sulit untuk ditafsirkan. Di sisi lain, distribusi posterior Bayesian untuk parameter yang dihukum terhadap nol menggunakan distribusi sebelumnya yang terkonsentrasi di sekitar nol memiliki interpretasi standar sepenuhnya.

Saya mencuri grosir ini dari grup pengguna Stan. Michael Betancourt memberikan diskusi yang sangat bagus tentang pengidentifikasian ini dalam kesimpulan Bayesian, yang saya yakin sesuai dengan permintaan Anda untuk kontras dari dua sekolah statistik.

Perbedaan pertama dengan analisis Bayesian adalah kehadiran prior yang, bahkan ketika lemah, akan membatasi massa posterior untuk 4 parameter menjadi lingkungan terbatas (jika tidak, Anda tidak akan memiliki valid sebelumnya di tempat pertama). Meskipun demikian, Anda masih dapat memiliki non-identifikasi dalam arti bahwa posterior tidak akan menyatu ke titik massa dalam batas data tak terbatas. Dalam arti yang sangat nyata, bagaimanapun, itu tidak masalah karena (a) batas data tak terbatas tidak nyata dan (b) kesimpulan Bayesian tidak melaporkan perkiraan titik melainkan distribusi. Dalam praktiknya, non-identifikasi akan menghasilkan korelasi besar antara parameter (bahkan mungkin non-konveksitas) tetapi analisis Bayesian yang tepat akan mengidentifikasi korelasi tersebut. Bahkan jika Anda melaporkan marginal parameter tunggal, Anda

$\mu_1$$\mu_2$$\mathcal{N}(x | \mu_1 + \mu_2, \sigma)$$\mu_1 + \mu_2 = 0$$\mu_1$$\mu_2$

$\mu_1$$\mu_2$$\mu_1$$\mu_2$

Perbedaan utama antara pendekatan Bayesian dan frequentist terletak pada definisi probabilitas, jadi jika perlu untuk memperlakukan probabilties secara ketat sebagai frekuensi jangka panjang maka pendekatan frequentist masuk akal, jika tidak maka Anda harus menggunakan pendekatan Bayesian. Jika salah satu interpretasi dapat diterima, maka pendekatan Bayesian dan frequentist cenderung masuk akal.

Cara lain untuk menjelaskannya adalah jika Anda ingin tahu kesimpulan apa yang dapat Anda ambil dari eksperimen tertentu, Anda mungkin ingin menjadi orang Bayesian; jika Anda ingin menarik kesimpulan tentang beberapa populasi percobaan (misalnya kontrol kualitas) maka metode yang sering digunakan sangat cocok.

Intinya, yang penting adalah mengetahui pertanyaan apa yang ingin Anda jawab, dan pilih bentuk analisis yang paling langsung menjawab pertanyaan itu.