Mengapa cut-off digunakan untuk faktor Bayes dan nilai-p sangat berbeda?

Saya mencoba memahami Bayes Factor (BF). Saya percaya mereka seperti rasio kemungkinan dari 2 hipotesis. Jadi, jika BF 5, itu berarti H1 5 kali lebih mungkin daripada H0. Dan nilai 3-10 menunjukkan bukti sedang, sedangkan> 10 menunjukkan bukti kuat.

Namun, untuk nilai-P, 0,05 tradisional dianggap sebagai cut-off. Pada nilai P ini, rasio kemungkinan H1 / H0 harus sekitar 95/5 atau 19.

Jadi mengapa cut-off> 3 diambil untuk BF sedangkan cut-off> 19 diambil untuk nilai P? Nilai-nilai ini juga tidak dekat.

— juga
sumber

Saya tidak nyaman dengan mengatakan "jika BF adalah , artinya adalah kali lebih mungkin dibandingkan ". Faktor Bayes mungkin merupakan rasio kemungkinan marjinal, tetapi ini bukan rasio probabilitas atau rasio peluang, dan perlu digabungkan dengan yang sebelumnya berguna

5

$5$

H_{1}

$H_1$

5

$5$

H_{0}

$H_0$

— Henry

Jika kita tidak memiliki informasi khusus sebelumnya, lalu apa yang bisa kita katakan tentang makna BF?

— rnso

Tentu saja, seseorang memiliki "beberapa" informasi sebelumnya bahkan jika mengatakan bahwa tidak ada info sebelumnya. Yaitu, dalam hal ini masuk akal untuk menetapkan probabilitas yang sama untuk setiap hipotesis sesuai dengan prinsip ketidakpedulian. Itu adalah contoh sederhana dari apa yang disebut sebelumnya non-informatif (diakui keliru).

— dnqxt

Dalam hal ini akankah BF dari 5 mengindikasikan satu hipotesis menjadi 5x lebih mungkin?

— rnso

Ya, tetapi masalah ini jauh lebih rumit daripada yang terlihat dan masuk ke bidang pemilihan model dalam statistik. Anda telah diperingatkan :))

— dnqxt

Jawaban:

Beberapa hal:

BF memberi Anda bukti yang mendukung hipotesis, sementara uji hipotesis frequentist memberi Anda bukti terhadap hipotesis (nol). Jadi itu semacam "apel untuk jeruk."

Kedua prosedur ini, terlepas dari perbedaan interpretasi, dapat mengarah pada keputusan yang berbeda. Misalnya, BF mungkin menolak sementara tes hipotesis frequentist tidak, atau sebaliknya. Masalah ini sering disebut sebagai paradoks Jeffreys-Lindley . Ada banyak posting di situs ini tentang ini; lihat misalnya di sini , dan di sini .

"Pada nilai P ini, kemungkinan H1 / H0 seharusnya 95/5 atau 19." Tidak, ini tidak benar karena, kira-kira $p(y \mid H_1) \neq 1- p(y \mid H_0)$ . Menghitung nilai-p dan melakukan tes yang sering, setidaknya, tidak mengharuskan Anda memiliki ide tentang $p(y \mid H_1)$ . Juga, nilai-p sering integral / jumlah kepadatan / pmfs, sementara BF tidak berintegrasi pada ruang sampel data.

— Taylor
sumber

Taylor mengatakan ambang batas untuk bukti terhadap satu hipotesis (

) tidak dapat secara langsung dibandingkan dengan ambang bukti untuk hipotesis lain (

), juga tidak kurang. Ketika Anda berhenti percaya pada efek nol tidak perlu berhubungan dengan ketika Anda mulai percaya pada suatu alternatif. Inilah mengapa nilai-

tidak boleh ditafsirkan sebagai

H_{0}

$\text{H}_0$

H_{1}

$\text{H}_1$

p

$p$

1 - ({belief in H}_{1})

$1 - (\text{belief in H}_1)$

— Frans Rodenburg

Mungkin ini bisa mengklarifikasi: en.wikipedia.org/wiki/Misunderstandings_of_p-values

-value sering bukanlah ukuran bukti untuk apa pun.

p

$p$

— Frans Rodenburg

Maaf, komentar terakhir: Alasan Anda tidak dapat melihatnya sebagai bukti yang mendukung

adalah bahwa ini adalah kesempatan untuk mengamati ukuran efek sebesar ini jika

benar. Jika

memang benar, nilai

harus acak acak, sehingga nilainya tidak memiliki arti pada probabilitas

. Kehalusan dalam interpretasi ini adalah dengan cara salah satu alasan nilai-

melihat begitu banyak penyalahgunaan.

H_{1}

$\text{H}_1$

H_{0}

$\text{H}_0$

H_{0}

$\text{H}_0$

p

$p$

H_{1}

$\text{H}_1$

p

$p$

— Frans Rodenburg

@ Benxyzzy: distribusi nilai-

hanya seragam di bawah hipotesis nol, bukan di bawah alternatif di mana ia sangat condong ke nol.

p

$p$

— Xi'an

@ Benxyzzy Untuk menambahkan kepada orang lain: Titik menggunakan

nilai adalah bahwa di bawah hipotesis nol itu acak acak, jadi jika Anda mendapatkan nilai

sangat kecil , itu mengisyaratkan bahwa mungkin itu tidak acak acak jadi mungkin nol hipotesis itu tidak benar.

p

$p$

p

$p$

— JiK

The Bayes Faktor $B_{01}$ dapat berubah menjadi probabilitas di bawah bobot yang sama sebagai

P_{01} = \frac{1}{1 + \frac{1}{B_{01}}}

$P_{01}=\frac{1}{1+\frac{1}{\large B_{01}}}$

p

$p$

$P_{01}$
nilai dan berbagai tergantung pada pilihan ukuran sebelumnya, mereka sehingga relatif bukan absolut (dan menyebutkan Taylor dari paradoks Lindley-Jeffreys sesuai pada tahap ini )
$B_{01}$ $P_{01}$

$p$ $p$

Q_{01} = P (B_{01} (X) \leq B_{01} (x^{obs}))

$Q_{01}=\mathbb P(B_{01}(X)\le B_{01}(x^\text{obs}))$

x^{obs}

$x^\text{obs}$

X

$X$

X \sim \int_{Θ} f (x | θ) π (θ | x^{obs}) d θ

$X\sim \int_\Theta f(x|\theta) \pi(\theta|x^\text{obs})\,\text{d}\theta$

— Xi'an
sumber

Dengan menggunakan rumus Anda, P untuk BF 3 dan 10 masing-masing menjadi 0,75 dan 0,91. Mengapa kita harus menerima ini sebagai bukti moderat karena untuk nilai P kita tetap memotong 0,95?

— rnso

0.95

$0.95$

Rumusnya terlihat lebih sederhana sebagaiP = B/(B+1)

— rnso

Beberapa kebingungan Anda mungkin berasal dari mengambil angka 95/5 langsung dari fakta bahwa nilai p adalah 0,05 - apakah ini yang Anda lakukan? Saya tidak percaya ini benar. Nilai p untuk uji-t, misalnya, mencerminkan peluang untuk mendapatkan perbedaan yang diamati antara rata-rata atau perbedaan yang lebih ekstrim jika hipotesis nol sebenarnya benar. Jika Anda mendapatkan nilai ap 0,02, Anda mengatakan 'ah, hanya ada 2% peluang untuk mendapatkan perbedaan seperti ini, atau perbedaan yang lebih besar, jika nol benar. Tampaknya sangat mustahil, jadi saya mengusulkan bahwa nol itu tidak benar! '. Angka-angka ini bukan hal yang sama yang masuk ke dalam faktor Bayes, yang merupakan rasio probabilitas posterior yang diberikan untuk setiap hipotesis yang bersaing. Probabilitas posterior ini tidak dihitung dengan cara yang sama dengan nilai-p,

Sebagai catatan, saya akan menyarankan sangat menjaga terhadap berpikir nilai-nilai BF yang berbeda sebagai hal-hal tertentu yang berarti. Penugasan ini sepenuhnya arbitrer, seperti tingkat signifikansi 0,05. Masalah seperti peretasan akan terjadi seperti halnya dengan Bayes Factors jika orang mulai percaya bahwa hanya angka-angka tertentu yang perlu dipertimbangkan. Cobalah untuk memahami mereka apa adanya, yang merupakan probabilitas relatif, dan gunakan akal Anda sendiri untuk menentukan apakah Anda menemukan nomor BF bukti yang meyakinkan atau tidak.

— Jamie
sumber