Apakah statistik Bayes benar-benar merupakan peningkatan dari statistik tradisional (sering) untuk penelitian perilaku?

Saat menghadiri konferensi, ada sedikit dorongan oleh pendukung statistik Bayesian untuk menilai hasil eksperimen. Ini dibanggakan karena keduanya lebih sensitif, tepat, dan selektif terhadap temuan asli (lebih sedikit positif palsu) daripada statistik sering.

Saya telah menjelajahi topik tersebut, dan sejauh ini saya tidak yakin akan manfaat menggunakan statistik Bayesian. Analisis Bayesian digunakan untuk membantah penelitian Daryl Bem yang mendukung prekognisi, jadi saya tetap ingin tahu dengan hati-hati tentang bagaimana analisis Bayesian dapat memberi manfaat bahkan pada penelitian saya sendiri.

Jadi saya ingin tahu tentang hal berikut:

Kekuasaan dalam analisis Bayesian vs. analisis sering
Kerentanan terhadap kesalahan Tipe 1 di setiap jenis analisis
Pertukaran dalam kompleksitas analisis (Bayesian tampaknya lebih rumit) vs manfaat yang diperoleh. Analisis statistik tradisional sangat mudah, dengan pedoman yang telah ditetapkan untuk menarik kesimpulan. Kesederhanaan bisa dipandang sebagai manfaat. Apakah itu layak untuk menyerah?

Terima kasih atas wawasan apa pun!

bayesian power frequentist

— onestop
sumber

Statistik Bayesian adalah statistik tradisional - dapatkah Anda memberikan contoh konkret untuk apa yang Anda maksudkan dengan statistik tradisional?

@OphirYoktan: Dia berbicara tentang probabilitas frekuensi versus probabilitas Bayesian. Itu bahkan disebutkan dalam judul pertanyaan.

Saya pikir pertanyaan ini harus dipindahkan ke sini: stats.stackexchange.com

— Mark Lapierre

Saya mengajukan pertanyaan pada meta tentang apakah ini harus sesuai topik.

Saya pikir pertanyaan ini berpotensi memiliki jawaban "baik" atau "benar". Misalnya, jika seseorang dapat mengatakan "untuk setiap tes yang sering dilakukan dengan kesalahan tipe 1 dan kesalahan tipe 2 , ada tes Bayesian dengan kesalahan tipe 1 dan kesalahan tipe 2 ", ini akan menjadi jawaban yang bagus . Atau sesuatu seperti "setiap tes yang sering dilakukan setara dengan tes Bayesian dengan sebelumnya tidak informatif". Yaitu ini tidak harus menjadi perang agama antara frequentist dan bayesians. Saya hanya berdebat karena saya tidak mengerti bagaimana balasan terkait dengan pertanyaan spesifik di OP.

α

$\alpha$

β

$\beta$

α

$\alpha$

β - x

$\beta - x$

— SheldonCooper

Jawaban:

Respons cepat terhadap konten berpoin:

1) Kesalahan Power / Type 1 dalam analisis Bayesian vs. analisis frequentist

Bertanya tentang Tipe 1 dan kekuatan (yaitu satu dikurangi probabilitas kesalahan Tipe 2) menyiratkan bahwa Anda dapat memasukkan masalah inferensi Anda ke dalam kerangka kerja pengambilan sampel yang berulang. Bisakah kamu? Jika Anda tidak bisa maka tidak ada banyak pilihan selain untuk menjauh dari alat inferensi yang sering. Jika Anda bisa, dan jika perilaku penaksir Anda terhadap banyak sampel semacam itu relevan, dan jika Anda tidak terlalu tertarik untuk membuat pernyataan probabilitas tentang peristiwa tertentu, maka saya tidak punya alasan kuat untuk pindah.

Argumen di sini bukanlah bahwa situasi seperti itu tidak pernah muncul - tentu saja memang terjadi - tetapi bahwa mereka biasanya tidak muncul di bidang di mana metode tersebut diterapkan.

2) Pertukaran dalam kompleksitas analisis (Bayesian tampaknya lebih rumit) vs manfaat yang diperoleh.

Penting untuk bertanya ke mana kerumitannya. Dalam prosedur yang kerap terjadi, implementasinya mungkin sangat sederhana, misalnya meminimalkan jumlah kuadrat, tetapi prinsip - prinsipnya mungkin rumit, biasanya berputar di sekitar penaksir mana yang harus dipilih, bagaimana menemukan tes yang tepat, apa yang harus dipikirkan saat mereka tidak setuju. Sebagai contoh. lihat diskusi yang masih hidup, diambil di forum ini, dengan interval kepercayaan yang berbeda untuk suatu proporsi!

Dalam prosedur Bayesian implementasinya bisa rumit semena-mena bahkan dalam model yang kelihatannya 'harus' sederhana, biasanya karena integral yang sulit tetapi prinsip - prinsipnya sangat sederhana. Ini lebih tergantung di mana Anda ingin kekacauan itu.

3) Analisis statistik tradisional sangat mudah, dengan pedoman yang telah ditetapkan untuk menarik kesimpulan.

Secara pribadi saya tidak lagi dapat mengingat, tetapi tentu saja murid-murid saya tidak pernah menemukan ini secara langsung, sebagian besar karena proliferasi prinsip yang dijelaskan di atas. Tetapi pertanyaannya bukanlah apakah prosedur itu benar-benar mudah, tetapi apakah lebih dekat dengan benar mengingat struktur masalahnya.

Akhirnya, saya sangat tidak setuju bahwa ada "pedoman yang kuat untuk menarik kesimpulan" dalam kedua paradigma. Dan saya pikir itu hal yang baik . Tentu, "find p <.05" adalah pedoman yang jelas, tetapi untuk model apa, dengan koreksi apa, dll? Dan apa yang harus saya lakukan ketika tes saya tidak setuju? Penilaian ilmiah atau rekayasa diperlukan di sini, seperti halnya di tempat lain.

— conjugateprior
sumber

Saya tidak yakin bahwa bertanya tentang kesalahan tipe 1 / tipe 2 menyiratkan sesuatu tentang kerangka kerja pengambilan sampel berulang. Tampaknya bahkan jika hipotesis nol saya tidak dapat disampel berulang kali, masih bermakna untuk bertanya tentang kemungkinan kesalahan tipe 1. Probabilitas dalam kasus ini, tentu saja, bukan atas semua hipotesis yang mungkin, tetapi lebih dari semua sampel yang mungkin dari hipotesis tunggal saya.

— SheldonCooper

Tampaknya bagi saya bahwa argumen umum adalah ini: meskipun membuat kesalahan tipe 1 (atau 2) dapat didefinisikan untuk inferensi 'satu tembakan' (Tipe 1 vs 2 hanyalah bagian dari tipologi kesalahan yang dapat saya buat) kecuali saya membuat kesalahan ini tertanam dalam uji coba berulang tidak ada jenis kesalahan dapat memiliki probabilitas yang sering.

— conjugateprior

Apa yang saya katakan adalah bahwa membuat kesalahan tipe 1 (atau 2) selalu tertanam dalam percobaan berulang. Setiap percobaan mengambil sampel satu set pengamatan dari hipotesis nol. Jadi, bahkan jika sulit untuk membayangkan pengambilan sampel hipotesis yang berbeda, percobaan berulang masih ada karena mudah untuk membayangkan mengambil sampel pengamatan yang berbeda dari hipotesis yang sama.

— SheldonCooper

Riddle saya ini: bagaimana seseorang memutuskan "apa yang acak?" Misalkan Anda memiliki guci, seseorang mengambil sampel "secara acak" dari guci. Juga anggaplah seorang "pengamat yang cerdas" juga hadir, dan mereka tahu persis isi guci. Apakah pengambilan sampel masih "acak" meskipun "pengamat yang cerdas" dapat memprediksi dengan pasti apa yang akan diambil? Apakah ada sesuatu tentang guci yang berubah jika tidak ada lagi?

— probabilityislogic

Masalah yang saya miliki dengan sifat "berulang" dari frequentist adalah bahwa untuk bekerja, kondisinya harus tetap sama. Tetapi jika kondisinya tetap sama, Anda harus dapat menyatukan kumpulan data Anda dan mendapatkan perkiraan yang lebih baik. Sering kali mengabaikan informasi masa lalu tepat di bawah kondisi ketika masuk akal untuk memperhitungkannya.

— probabilityislogic

Statistik Bayesian dapat diturunkan dari beberapa prinsip logis. Cobalah Mencari "probabilitas sebagai logika yang diperluas" dan Anda akan menemukan lebih banyak analisis mendalam tentang fundamental. Tetapi pada dasarnya, statistik Bayesian bersandar pada tiga prinsip dasar "desiderata" atau normatif:

Masuk akal proposisi harus diwakili oleh bilangan real tunggal
$p(A|C^{(0)})$ $C^{(0)}\rightarrow C^{(1)}$ $p(A|C^{(1)})>p(A|C^{(0)})$ $p(B|A C^{(0)})=p(B|AC^{(1)})$ $p(AB| C^{(0)})\leq p(AB|C^{(1)})$ $p(\overline{A}|C^{(1)})<p(\overline{A}|C^{(0)})$
Kemungkinan proposisi dihitung secara konsisten . Ini berarti a) jika kemungkinan masuk akal dapat lebih dari 1 cara, semua jawaban harus sama; b) Dalam dua masalah di mana kita diberikan informasi yang sama, kita harus menetapkan kemungkinan yang sama; dan c) kita harus memperhitungkan semua informasi yang tersedia. Kita tidak boleh menambahkan informasi yang tidak ada di sana, dan kita tidak boleh mengabaikan informasi yang kita miliki.

Tiga desiderata ini (bersama dengan aturan logika dan teori himpunan) secara unik menentukan jumlah dan aturan produk dari teori probabilitas. Jadi, jika Anda ingin bernalar sesuai dengan tiga desiderata di atas, mereka harus mengadopsi pendekatan Bayesian. Anda tidak harus mengadopsi "Filsafat Bayesian" tetapi Anda harus mengadopsi hasil numerik. Tiga bab pertama buku ini menggambarkan hal ini lebih terinci, dan memberikan buktinya.

Dan yang tak kalah pentingnya, "mesin Bayesian" adalah alat pengolah data paling kuat yang Anda miliki. Ini terutama karena desiderata 3c) menggunakan semua informasi yang Anda miliki (ini juga menjelaskan mengapa Bayes bisa lebih rumit daripada non-Bayes). Sulit untuk memutuskan "apa yang relevan" dengan menggunakan intuisi Anda. Teorema Bayes melakukan ini untuk Anda (dan melakukannya tanpa menambahkan asumsi sewenang-wenang, juga karena 3c).

$H_0$ $H_1$ $L_1$ $H_0$ $L_2$ $H_0$

$P(H_0|E_1,E_2,\dots)$ $E_i$
$P(H_1|E_1,E_2,\dots)$
$O=\frac{P(H_0|E_1,E_2,\dots)}{P(H_1|E_1,E_2,\dots)}$
$H_0$ $O > \frac{L_2}{L_1}$

$H_0$ $O>>1$ $H_1$ $O<<1$ $O\approx 1$

Sekarang jika perhitungannya menjadi "terlalu sulit", maka Anda harus memperkirakan angka-angkanya, atau mengabaikan beberapa informasi.

Untuk contoh aktual dengan angka yang dikerjakan, lihat jawaban saya untuk pertanyaan ini

— probabilityislogic
sumber

Saya tidak yakin bagaimana ini menjawab pertanyaan. Para frekuensi sering tentu saja tidak setuju dengan desideratum 1 dari daftar ini, sehingga sisa argumen tidak berlaku untuk mereka. Ini juga tidak menjawab pertanyaan spesifik apa pun dalam OP, seperti "apakah analisis Bayesian lebih kuat atau lebih rawan kesalahan daripada analisis yang sering terjadi".

— SheldonCooper

@sheldoncooper - jika seorang sering tidak setuju dengan desideratum 1, lalu atas dasar apa mereka dapat membangun interval kepercayaan 95%? Mereka harus memerlukan nomor tambahan.

— probabilityislogic

@sheldoncooper - dan selanjutnya, probabilitas pengambilan sampel harus didefinisikan ulang, karena mereka juga hanya 1 angka. Seorang frequentist tidak dapat menolak desideratum 1 tanpa menolak teorinya sendiri

— probabilityislogic

p (H_{1} | . . .)

$p(H_1|...)$

p (E_{1}, E_{2}, . . . | H_{0})

$p(E_1, E_2, ... | H_0)$

H_{0}

$H_0$

"mereka tidak dapat menolak desideratum 1 tanpa menolak teori mereka sendiri" - apa maksudmu dengan itu? Orang-orang sering tidak memiliki gagasan "masuk akal". Mereka memiliki gagasan tentang "frekuensi kejadian dalam percobaan berulang". Frekuensi ini memenuhi kondisi yang mirip dengan tiga desiderata Anda dan dengan demikian mengikuti aturan yang sama. Jadi untuk apa pun yang definisi frekuensi didefinisikan, Anda dapat menggunakan hukum probabilitas tanpa masalah.

— SheldonCooper

Saya sendiri tidak akrab dengan Statistik Bayesian tetapi saya tahu bahwa Panduan Skeptis untuk Semesta Episode 294 memiliki dan wawancara dengan Eric-Jan Wagenmakers di mana mereka membahas Statistik Bayesian. Berikut ini tautan ke podcast: http://www.theskepticsguide.org/archive/podcastinfo.aspx?mid=1&pid=294