Apa yang dimaksud dengan prior implisit dalam statistik frequentist?

Saya pernah mendengar gagasan bahwa Jaynes mengklaim sering beroperasi dengan "sebelumnya implisit".

Apa itu prior implisit? Apakah ini berarti model frequentist semua kasus khusus model Bayesian menunggu untuk ditemukan?

Dalam teori keputusan frequentist, ada hasil kelas lengkap yang mencirikan prosedur yang dapat diterima sebagai prosedur Bayes atau sebagai batas prosedur Bayes. Sebagai contoh, Stein perlu dan kondisi yang cukup (Stein. 1955; Farrell, 1968b) menyatakan bahwa, berdasarkan asumsi berikut

1. kerapatan sampling kontinu dalam θ dan benar-benar positif pada Θ ; dan$f(x|\theta)$$\theta$$\Theta$
2. fungsi kerugian ketat cembung, terus menerus dan, jika E ⊂ q kompak, lim ‖ δ ‖ → + ∞ inf θ ∈ E L ( θ , δ ) = + ∞ $L$$E\subset\Theta$ $$\lim_{\|\delta\|\rightarrow +\infty} \inf_{\theta\in E}L(\theta,\delta) =+\infty.$$

estimator dapat diterima jika, dan hanya jika, ada$\delta$

• urutan dari peningkatan set kompak sedemikian rupa sehingga Θ = ⋃ n F n ,$(F_n)$$\Theta=\bigcup_n F_n$
• urutan langkah-langkah terbatas dengan dukungan , dan$(\pi_n)$$F_n$

• urutan dari penaksir Bayes yang terkait dengan sedemikian rupaπ $(\delta_n)$$\pi_n$

  1. ada set kompak sedemikian rupa sehinggainf n π n ( E 0 ) ≥ $E_0\subset \Theta$$\inf_n \pi_n(E_0) \ge 1$
  2. jika kompak,sup n π n ( E ) < + $E\subset \Theta$$\sup_n \pi_n(E) <+\infty$
  3. $\lim_n r(\pi_n,\delta)-r(\pi_n) = 0$ dan
  4. $\lim_n R(\theta,\delta_n)= R(\theta,\delta)$ .

[direproduksi dari buku saya, Bayesian Choice , Theorem 8.3.0, p.407]

Dalam pengertian terbatas ini, sifat kerap diterima secara umum diberkahi dengan latar belakang Bayesian, karenanya mengaitkan prior (atau urutannya) secara implisit dengan masing-masing estimator yang dapat diterima.

Sidenote: Dalam suatu kebetulan yang menyedihkan, Charles Stein meninggal pada tanggal 25 November di Palo Alto, California. Dia berusia 96 tahun.

Ada hasil yang serupa (jika secara matematis terlibat) untuk estimasi invarian atau equivariant, yaitu bahwa estimator equivariat terbaik adalah estimator Bayes untuk setiap grup transitif yang bekerja pada model statistik, yang dikaitkan dengan ukuran Haar yang tepat, , yang diinduksi pada oleh grup ini dan kerugian invarian terkait. Lihat Pitman (1939), Stein (1964), atau Zidek (1969) untuk rinciannya. Ini kemungkinan besar apa yang ada dalam pikiran Jaynes , ketika ia berpendapat secara paksa tentang resolusi paradoks marjinalisasi oleh prinsip invarian .$\pi^*$$\Theta$

Lebih jauh, sebagaimana dirinci dalam jawaban civilstat , gagasan optimalitas lain yang sering muncul, yaitu minimaxity, juga terhubung ke prosedur Bayesian di mana prosedur minimax yang meminimalkan kesalahan maksimal (di atas ruang parameter) seringkali merupakan prosedur maximin yang memaksimalkan kesalahan minimal ( atas semua distribusi sebelumnya), maka itu adalah prosedur Bayes atau batas Bayes.

Q: Apakah ada takeaway tipis yang dapat saya gunakan untuk mentransfer intuisi Bayesian saya ke model yang sering?

Pertama saya akan menghindari menggunakan istilah "model frequentist" karena ada model pengambilan sampel (data adalah realisasi untuk nilai parameter )$x$$X\sim f(x|\theta)$$\theta$ dan prosedur frequentist (penaksir tidak bias terbaik, minimum interval kepercayaan varians, & tc.)Kedua, saya tidak melihat alasan metodologis atau teoretis yang meyakinkan untuk mempertimbangkan metode frequentist sebagai batas atau membatasi metode Bayesian. Pembenaran untuk prosedur frequentist, ketika ada, adalah untuk memenuhi beberapa properti optimalitas dalam ruang pengambilan sampel, yaitu ketika mengulangi pengamatan. Pembenaran utama untuk prosedur Bayesian adalah untuk menjadi optimal [di bawah kriteria spesifik atau fungsi kerugian] diberikan distribusi sebelumnya dan satu realisasi dari model pengambilan sampel. Kadang-kadang, prosedur yang dihasilkan memuaskan beberapa properti yang sering terjadi ( wilayah yang kredibel % adalah wilayah kepercayaan %)$95$$95$ , tetapi hal ini terjadi karena optimalitas ini tidak ditransfer ke semua prosedur yang terkait dengan model Bayesian.

@ Jawaban Xi'an lebih lengkap. Tapi karena Anda juga meminta untuk dibawa pulang, inilah satu. (Konsep yang saya sebutkan tidak persis sama dengan pengaturan penerimaan di atas.)

$\theta$$\hat{\theta}$

$\pi$$\pi$

Dalam pengertian ini, Anda bisa mengatakan: A (menggunakan minimax) Frequentist seperti seorang Bayesian yang memilih (estimasi titik berdasarkan pada) yang paling tidak menguntungkan sebelumnya.

Mungkin Anda bisa mengatakan hal ini: Frequentist seperti itu adalah seorang Bayesian konservatif, memilih bukan prior subjektif atau bahkan primor uninformative tetapi (dalam pengertian tertentu) prioror kasus terburuk.

Akhirnya, seperti yang orang lain katakan, sangat sulit untuk membandingkan Frequentists dan Bayesians dengan cara ini. Menjadi seorang Frequentist tidak selalu menyiratkan bahwa Anda menggunakan penduga tertentu. Ini hanya berarti bahwa Anda mengajukan pertanyaan tentang properti sampling estimator Anda, sedangkan pertanyaan ini bukan prioritas utama Bayesian. (Jadi setiap Bayesian yang berharap untuk properti contoh yang baik, misalnya "Bayes dikalibrasi," adalah juga sebuah Frequentist.)
Bahkan jika Anda mendefinisikan Frequentist sebagai salah satu yang estimator selalu memiliki optimal sifat sampling, ada banyak sifat seperti itu dan Anda tidak bisa selalu temui mereka sekaligus. Jadi sulit untuk berbicara secara umum tentang "semua model Frequentist."