Apa artinya sesuatu memiliki properti frequentist yang bagus?

Saya sudah sering mendengar ungkapan ini, tetapi tidak pernah sepenuhnya mengerti apa artinya. Ungkapan "properti frequentist yang baik" memiliki ~ 2.750 hits di google saat ini, 536 di scholar.google.com, dan 4 di stats.stackexchange.com .

Hal terdekat yang saya temukan dengan definisi yang jelas berasal dari slide terakhir dalam presentasi Universitas Stanford ini , yang menyatakan

[T] maksudnya melaporkan interval kepercayaan 95% adalah Anda “menjebak” parameter sebenarnya dalam 95% klaim yang Anda buat, bahkan di seluruh masalah estimasi yang berbeda. Ini adalah karakteristik yang menentukan dari prosedur estimasi dengan sifat frequentist yang baik: mereka menyimpan sampai pengawasan ketika digunakan berulang kali.

Merefleksikan sedikit tentang ini, saya berasumsi bahwa frasa "sifat-sifat frequentist baik" menyiratkan beberapa penilaian metode Bayesian, dan khususnya metode Bayesian konstruksi interval. Saya mengerti bahwa interval Bayesian dimaksudkan untuk memuat nilai sebenarnya dari parameter dengan probabilitas . Interval frekuensi dimaksudkan untuk dibangun sedemikian rupa sehingga jika jika proses konstruksi interval diulang berkali-kali sekitar $p$ $p*100\%$ interval akan berisi nilai sebenarnya dari parameter. Interval bayesian secara umum tidak membuat janji tentang berapa% interval akan mencakup nilai sebenarnya dari parameter. Namun, beberapa metode Bayesian juga memiliki properti yang jika diulang berkali-kali mereka menutupi nilai sebenarnya sekitar dari waktu. Ketika mereka memiliki properti itu, kami mengatakan mereka memiliki "properti frequentist yang baik". $p*100\%$

Apakah itu benar? Saya pikir pasti ada yang lebih dari itu, karena frasa ini merujuk pada sifat frequentist yang baik , daripada memiliki properti frequentist yang bagus .

bayesian terminology frequentist

— user1205901 - Pasang kembali Monica
sumber

Saya sangat suka cara Anda memikirkan pertanyaan ini. Pada hari-hari awal Sir Harold Jeffreys mencoba membangun distribusi posterior Bayesian yang berperilaku seperti fungsi kemungkinan dan karenanya memiliki sifat frequentist yang baik. Jadi itu sama dengan membangun distribusi "seragam" sebelumnya. Idenya adalah bahwa menggunakan prior seperti itu berarti prior adalah netral dan tidak mempengaruhi kesimpulan. Jadi ini berlaku untuk lebih dari sekedar membuat interval yang kredibel terlihat seperti interval kepercayaan. Tapi Jeffreys mengalami masalah karena ada kasus di mana "seragam" sebelumnya tidak tepat.

— Michael R. Chernick

Tidak benar berarti bahwa kepadatan sebelumnya tidak berintegrasi ke 1. Tampaknya Jeffreys percaya bahwa metode Bayesian perlu dibenarkan dengan menyetujui metode frequentist. Bayesians akhirnya menolak gagasan ini karena nilai dari pendekatan yang mereka klaim adalah bahwa ada informasi sebelumnya yang mempengaruhi kesimpulan dan karena itu mereka lebih suka menggunakan prior "informatif" yang tepat.

— Michael R. Chernick

@MichaelChernick: dapatkah Anda memberikan referensi yang tepat tentang Jeffreys yang mencari properti sering untuk estimator Bayes? Saya belum pernah mendengar cerita ini. Dan saya juga ragu Jeffreys sama sekali khawatir tentang menggunakan prior yang tidak tepat, mereka semua di atas Teori Probabilitas .

— Xi'an

Saya suka pertanyaan ini!

— Alexis

@ Xi'an sebenarnya, untuk model Beta-Binomial itu adalah haldane sebelumnya (yang tidak tepat) yang mengarah ke perkiraan sering, bukan sebelumnya Jeffrey (yang tepat, dalam hal ini). Saya juga belum pernah mendengar bahwa Jeffreys sedang mencari sifat-sifat sering yang bagus: Saya pikir dia sedang mencari prioritas yang objektif, dan yang objektif dia maksudkan invarian di bawah reparametrization.

— DeltaIV

Jawaban:

Suatu hal yang rumit tentang properti frequentist yang baik adalah bahwa mereka adalah properti dari suatu prosedur daripada sifat dari hasil atau kesimpulan tertentu. Prosedur frequentist yang baik menghasilkan kesimpulan yang benar pada proporsi kasus yang ditentukan dalam jangka panjang, tetapi prosedur Bayesian yang baik seringkali merupakan prosedur yang menghasilkan kesimpulan yang benar dalam kasus individu yang bersangkutan.

Sebagai contoh, pertimbangkan prosedur Bayesian yang "baik" dalam pengertian umum karena prosedur ini memasok distribusi probabilitas posterior atau interval kredibel yang dengan benar mewakili kombinasi bukti (fungsi kemungkinan) dengan distribusi probabilitas sebelumnya. Jika prior berisi informasi yang akurat (katakanlah, daripada pendapat kosong atau semacam sebelum informasi), posterior atau interval yang mungkin menghasilkan inferensi yang lebih baik daripada hasil yang sering dari data yang sama. Lebih baik dalam arti mengarah pada kesimpulan yang lebih akurat tentang kasus khusus ini atau interval estimasi yang lebih sempit karena prosedur menggunakan disesuaikan sebelumnya yang berisi informasi yang akurat. Dalam jangka panjang persentase cakupan interval dan kebenaran kesimpulan dipengaruhi oleh kualitas masing-masing sebelumnya.

Perhatikan bahwa prosedur tidak menentukan bagaimana prior harus diperoleh dan akuntansi kinerja jangka panjang akan, mungkin, mengasumsikan any-old prior daripada yang dirancang khusus sebelum untuk setiap kasus.

Prosedur Bayesian dapat memiliki sifat sering yang baik. Sebagai contoh, dalam banyak kasus prosedur Bayesian dengan resep sebelumnya yang diberikan tanpa informasi akan memiliki sifat frequentist yang cukup baik hingga sangat baik. Sifat-sifat yang baik akan menjadi kecelakaan daripada fitur desain, dan akan menjadi konsekuensi langsung dari prosedur seperti itu menghasilkan interval yang sama dengan prosedur yang sering terjadi.

Dengan demikian prosedur Bayesian dapat memiliki sifat inferensial superior dalam percobaan individu sementara memiliki sifat frequentist yang buruk dalam jangka panjang. Secara ekivalen, prosedur frequentist dengan properti frequentist jangka panjang yang baik sering memiliki kinerja yang buruk dalam kasus percobaan individu.

— Michael Lew
sumber

Saya tidak mengikuti. Kecuali untuk Empiris Bayes, dalam semua prosedur Bayes saya melihat sebelumnya dipilih secara independen dari data. Jadi, ketika menerapkan prosedur seperti itu ke beberapa set data yang berasal dari proses pembuatan data yang sama (ini adalah kerangka kerja yang sering terjadi), Bayesian akan menggunakan fungsi kemungkinan yang sama (proses pembuatan data adalah sama) dan sebelumnya sama (sebelumnya adalah independen terhadap data dalam sebagian besar prosedur Bayes). Tentu saja karena data berubah setiap kali, nilai kemungkinannya berubah, tetapi bentuknya sama. Sekarang, jika masing-masing individu [1/2]

— DeltaIV

[2/2] perkiraan lebih akurat, bagaimana keseluruhan prosedur bisa kurang akurat? Ini hanya mungkin jika perkiraan Bayesian tidak selalu lebih akurat. Namun, karena sebelumnya tidak disesuaikan untuk data yang diamati, saya tidak yakin apa yang membuatnya lebih atau kurang akurat untuk setiap kasus tunggal dan / atau "rata-rata".

— DeltaIV

@DeltaV Saya pikir Anda berurusan dengan set referensi yang salah. Sifat-sifat sering dari suatu prosedur berhubungan dengan kinerja jangka panjang dari prosedur yang diterapkan dalam semua kasus baru, tidak hanya untuk pengulangan percobaan tertentu. Itu sebabnya prosedur interval kepercayaan untuk proporsi binomial harus bekerja untuk semua nilai parameter, tidak hanya untuk nilai yang relevan dengan contoh tertentu di mana prosedur digunakan. Jenis 'jangka panjang' itu berarti bahwa kustomisasi sebelumnya yang sesuai dengan kasus yang dimaksud tidak sesuai untuk jangka panjang.

— Michael Lew

Anda benar bahwa prosedur kepercayaan sering harus memiliki cakupan nominal untuk semua nilai dari parameter yang tidak diketahui. Ini jelas ditentukan oleh Newman & Pearson, dan sering diabaikan hari ini. Namun, ketika Anda memilih yang sebelumnya, Anda tidak tahu yang merupakan nilai "true" dari parameter. Anda hanya memiliki sampel Anda, dan yang sebelumnya harus independen dari sampel. Jadi saya masih tidak melihat dengan jelas bagaimana Anda dapat menyesuaikan sebelumnya berdasarkan sampel. Bisakah Anda membuat contoh praktis?

— DeltaIV

@DeltaIV Jika saya tahu bahwa parameter yang diminati saat ini telah diperkirakan dalam penelitian sebelumnya maka saya dapat membentuk suatu informatif sebelumnya berdasarkan estimasi tersebut. Sebelumnya itu akan sesuai untuk analisis saat ini, tetapi tidak ada setara informatif sebelum setara tersedia untuk set aplikasi nosional metode dalam jangka panjang. Dengan demikian analisis dapat memiliki sifat yang jauh lebih baik dalam kasus nyata yang terisolasi daripada yang tampaknya akan terjadi dalam jangka panjang yang sering terjadi.

— Michael Lew

Saya akan menjawab bahwa analisis Anda benar. Untuk memberikan beberapa wawasan lagi, saya akan menyebutkan prior yang cocok.

Prior yang cocok biasanya prior yang dirancang untuk membangun model Bayesian dengan properti yang sering. Secara khusus, mereka didefinisikan sehingga interval hpd yang diperoleh memenuhi cakupan interval kepercayaan yang sering (jadi 95% dari 95% hpd mengandung nilai sebenarnya dalam jangka panjang). Perhatikan bahwa, dalam 1d, ada solusi analitis: prior Jeffreys cocok dengan prior. Dalam dimensi yang lebih tinggi, ini tidak perlu terjadi (untuk pengetahuan saya, tidak ada hasil yang membuktikan bahwa ini tidak pernah terjadi).

Dalam praktiknya, prinsip pencocokan ini kadang-kadang juga diterapkan untuk menyelaraskan nilai beberapa parameter model: data kebenaran tanah digunakan untuk mengoptimalkan parameter ini dalam arti bahwa nilainya memaksimalkan cakupan frekuensi interval yang kredibel untuk parameter bunga yang dihasilkan. . Dari eksperimen saya sendiri, ini mungkin tugas yang sangat halus.

— peuhp
sumber

$p$

Sekarang, untuk menjawab pertanyaan Anda: tidak, itu tidak menyiratkan penilaian metode Bayesian. Melewatkan nuansa dan fokus pada prosedur estimasi agar tetap sederhana: frekuensi dalam statistik adalah bahwa gagasan memperkirakan kuantitas tetap yang tidak diketahui, atau menguji hipotesis, dan mengevaluasi prosedur tersebut terhadap pengulangan hipotetis itu. Anda dapat mengadopsi banyak kriteria untuk mengevaluasi suatu prosedur. Apa yang membuatnya menjadi kriteria yang sering adalah bahwa seseorang peduli dengan apa yang terjadi jika seseorang mengadopsi prosedur yang sama berulang kali. Jika Anda melakukannya, Anda peduli dengan properti yang sering muncul. Dengan kata lain: "apa saja properti yang sering muncul?" berarti "apa yang terjadi jika kita mengulangi prosedur berulang kali?" Sekarang, apa yang membuat properti frequentist seperti itu bagusadalah lapisan kriteria lainnya. Properti frequentist yang paling umum yang dianggap sebagai properti baik adalah konsistensi (dalam estimasi, jika Anda terus mengambil sampel, estimator akan menyatu dengan nilai tetap yang Anda perkirakan), efisiensi (jika Anda terus mengambil sampel, varians dari estimator akan menjadi nol , sehingga Anda akan lebih dan lebih akurat), kemungkinan cakupan(dalam banyak pengulangan prosedur, interval kepercayaan 95% akan mengandung nilai sebenarnya 95% dari waktu). Dua yang pertama disebut properti sampel besar, yang ketiga adalah properti Neyman-benar-benar sering dalam arti bahwa itu tidak perlu menggunakan hasil asimptotik. Jadi, singkatnya, dalam kerangka kerja yang sering terjadi, ada nilai yang benar dan tidak diketahui. Anda memperkirakannya dan Anda selalu (kecuali dalam kecelakaan keberuntungan langka) salah dalam estimasi, tetapi Anda mencoba menyelamatkan diri dengan mengharuskan bahwa setidaknya di bawah pengulangan tak terduga estimasi Anda secara hipotetis, Anda akan semakin salah atau kurangAnda tahu Anda akan benar beberapa kali. Saya tidak akan membahas apakah itu masuk akal atau tidak, atau asumsi tambahan yang diperlukan untuk membenarkannya, mengingat itu bukan pertanyaan Anda. Secara konseptual, itulah yang dimaksud oleh properti frequentist , dan yang baik berarti secara umum dalam konteks seperti itu.

Saya akan menutup dengan menunjukkan makalah ini kepada Anda, sehingga Anda menilai sendiri apakah masuk akal dan apa artinya prosedur Bayesian untuk memiliki properti frequentist yang baik (Anda akan menemukan lebih banyak referensi di sana):

Little, R., & lainnya, (2011). Ruang dikalibrasi, untuk statistik secara umum, dan data yang hilang pada khususnya. Ilmu Statistik, 26 (2), 162–174.

— Diogo
sumber