Mengapa prior Jeffreys dianggap tidak informatif?

Pertimbangkan Jeffrey sebelumnya di mana , di manaadalah informasi Fisher. $p(\theta) \propto \sqrt{|i(\theta)|}$ $i$

Saya terus melihat ini sebelum disebutkan sebagai sebelumnya tidak informatif, tetapi saya tidak pernah melihat argumen mengapa itu tidak informatif. Lagipula, ini bukan prior konstan, jadi harus ada argumen lain.

Saya mengerti bahwa itu tidak tergantung pada reparametrization, yang membawa saya ke pertanyaan berikutnya. Apakah penentu informasi Fisher tidak bergantung pada reparametrization? Karena informasi Fisher jelas tergantung pada parametriisasi masalah.

Terima kasih.

bayesian prior

— bayesian
sumber

Sudahkah Anda membaca artikel Wikipedia? en.wikipedia.org/wiki/Jeffreys_prior

— whuber

Ya, saya telah melihat ke sana. mungkin saya kehilangan sesuatu, tetapi saya tidak merasa bahwa artikel Wikipedia memberikan jawaban yang memadai untuk pertanyaan saya.

— bayesian

Lihat juga stats.stackexchange.com/questions/38962/…

— Stéphane

Perhatikan bahwa Jeffreys prior tidak invarian terkait dengan model yang setara. Sebagai contoh, kesimpulan tentang parameter

berbeda ketika menggunakan distribusi sampel binomial atau binomial negatif. Meskipun fungsi kemungkinan proporsional dan parameter memiliki arti yang sama di kedua model.

p

$p$

— probabilityislogic

Jawaban:

Itu dianggap tidak informatif karena invarian parameterisasi. Anda tampaknya memiliki kesan bahwa seragam (konstan) sebelumnya tidak informatif. Terkadang, kadang tidak.

Apa yang terjadi dengan Jeffreys sebelum di bawah transformasi adalah bahwa Jacobian dari transformasi tersedot ke dalam informasi Fisher asli, yang akhirnya memberi Anda informasi Fisher di bawah parameterisasi baru. Tidak ada sihir (setidaknya dalam mekanika), hanya sedikit kalkulus dan aljabar linier.

— JMS
sumber

Saya tidak setuju dengan jawaban ini. Menggunakan prior subyektif juga merupakan prosedur invarian parametrization!

— Stéphane Laurent

Sebelumnya Jeffreys bertepatan dengan referensi Bernardo sebelumnya untuk ruang parameter satu dimensi (dan model "biasa"). Secara kasar, ini adalah di mana perbedaan Kullback-Leibler antara sebelum dan posterior adalah maksimal. Kuantitas ini mewakili jumlah informasi yang dibawa oleh data. Inilah sebabnya mengapa dianggap sebelumnya tidak informatif: ini adalah yang mana data membawa jumlah informasi maksimal.

Ngomong-ngomong, aku tidak tahu apakah Jeffreys mengetahui karakterisasi ini sebelumnya?

— Stéphane Laurent
sumber

"Secara kasar, ini adalah yang sebelumnya divergensi Kullback-Leibler antara sebelum dan posterior maksimal." Menarik, saya tidak tahu itu.

— Cam.Davidson.Pilon

(+1) Jawaban yang bagus. Akan menyenangkan untuk melihat beberapa referensi dari beberapa poin Anda ( mis. 1 , 2 ).

@Prastrastator Saat ini saya sedang menulis posting baru tentang prior noninformative;) Silakan tunggu, mungkin beberapa hari.

— Stéphane Laurent

Saya akan mengatakan itu tidak sepenuhnya non-informatif, tetapi minimal informatif. Ini mengkodekan pengetahuan sebelumnya (agak lemah) yang Anda tahu keadaan pengetahuan Anda sebelumnya tidak tergantung pada parameterisasinya (misalnya unit pengukuran). Jika tingkat pengetahuan Anda sebelumnya adalah nol, Anda tidak akan tahu bahwa pengetahuan Anda sebelumnya tidak berubah dari transformasi tersebut.

— Dikran Marsupial
sumber

Saya bingung. Dalam hal apa Anda tahu bahwa Anda sebelumnya harus bergantung pada parameterisasi model?

— John Lawrence Aspden

Jika kita ingin memprediksi umur panjang sebagai fungsi dari berat badan, menggunakan GLM, kita tahu bahwa kesimpulannya tidak boleh terpengaruh apakah kita menimbang subjek dalam kg atau lb; jika Anda menggunakan seragam sederhana sebelum di atas beban Anda mungkin mendapatkan hasil yang berbeda tergantung pada unit pengukuran.

— Dikran Marsupial

Itu adalah kasus ketika Anda tahu bahwa itu tidak boleh terpengaruh. Apa yang seharusnya terjadi?

— John Lawrence Aspden

Saya pikir Anda kehilangan poin saya. Katakanlah kita tidak tahu apa-apa tentang atribut, bahkan bahwa mereka memiliki unit pengukuran yang analisisnya harus invarian. Dalam hal itu prior Anda akan menyandikan lebih sedikit informasi tentang masalah daripada yang sebelumnya Jeffrey, maka prior Jeffrey tidak sepenuhnya tidak informatif. Mungkin atau mungkin tidak situasi di mana analisis tidak boleh berubah-ubah untuk beberapa transformasi, tapi itu intinya.

— Dikran Marsupial

NB menurut buku BUGS (hlm .83), Jeffrey sendiri merujuk pada prior invarian transformasi tersebut sebagai "informatif minimal", yang menyiratkan bahwa ia melihat mereka sebagai penyandian beberapa informasi tentang masalah tersebut.

— Dikran Marsupial