Apakah nilai p juga tingkat penemuan yang salah?

Dalam http://surveyanalysis.org/wiki/Multiple_Comparisons_(Post_Hoc_Testing) menyatakan

Sebagai contoh, jika kita memiliki nilai p 0,05 dan kita menyimpulkan itu signifikan, probabilitas penemuan palsu, menurut definisi, 0,05.

Pertanyaan saya: Saya selalu berpikir bahwa penemuan yang salah adalah kesalahan Tipe I, yang sama dengan tingkat signifikansi yang dipilih dalam kebanyakan tes. Nilai-P adalah nilai yang dihitung dari sampel. Memang, Wikipedia menyatakan

Nilai p tidak boleh bingung dengan tingkat signifikansi $\alpha$ dalam pendekatan Neyman-Pearson atau tingkat kesalahan Tipe I [false positive rate] "

Jadi mengapa artikel yang ditautkan mengklaim bahwa tingkat kesalahan Tipe I diberikan oleh nilai-p?

— Halo Dunia
sumber

Fisher

p

$p$ nilai dan tingkat kesalahan Tipe I

α

$\alpha$ tidak kompatibel menurut makalah berikut: Hubbard, Bayarri (2012): Kebingungan tentang ukuran bukti (

p

$p$ versus kesalahan (

α

$\alpha$ 's) dalam pengujian statistik klasik . Juga, lihat posting ini di sini di situs.

— COOLSerdash

@COOL Itulah makalah yang sangat kontroversial untuk dikutip. Lihatlah awal dari diskusi yang mengikuti di halaman terakhir. Bagi saya para penulis - sengaja atau tidak sadar - salah menafsirkan banyak ahli statistik yang mereka yakini begitu bodoh dan salah.

— whuber

@whuber Ini adalah kesan saya juga ketika saya membaca koran. Apakah Anda tahu kertas, buku, atau posting yang menawarkan perlakuan lebih jinak terhadap subjek ini?

— COOLSerdash

@COOL Ada begitu banyak sehingga saya bahkan tidak bisa melacaknya lagi.

— whuber

Artikel yang ditautkan di surveyanalysis.org adalah sampah, dan kutipannya salah besar.

— amoeba

Jawaban:

Tingkat penemuan palsu Anda tidak hanya tergantung pada ambang nilai p, tetapi juga pada kebenaran. Bahkan, jika hipotesis nol Anda ternyata salah, tidak mungkin bagi Anda untuk membuat penemuan yang salah.

Mungkin bermanfaat untuk memikirkannya seperti itu: ambang batas p-value adalah probabilitas untuk membuat penemuan yang salah ketika tidak ada penemuan yang benar untuk dibuat (atau dengan kata lain, jika hipotesis nol itu benar).

Pada dasarnya,

Tipe 1 Tingkat Kesalahan = "Probabilitas menolak nol jika itu benar" = ambang batas p-value

dan

Tipe 1 Tingkat Kesalahan = Tingkat Penemuan Salah JIKA hipotesis nol itu benar

sudah benar, tetapi perhatikan persyaratan pada null yang benar. Tingkat penemuan palsu tidak memiliki persyaratan ini dan dengan demikian tergantung pada kebenaran yang tidak diketahui tentang berapa banyak hipotesis nol Anda yang benar atau tidak.

Juga bermanfaat untuk mempertimbangkan bahwa ketika Anda mengendalikan laju penemuan palsu menggunakan prosedur seperti Benjamini-Hochberg Anda tidak pernah dapat memperkirakan tingkat penemuan yang benar-benar palsu, sebaliknya Anda mengendalikannya dengan memperkirakan batas atas. Untuk melakukan lebih banyak, Anda sebenarnya perlu dapat mendeteksi bahwa hipotesis nol benar menggunakan statistik, ketika Anda hanya dapat mendeteksi pelanggaran dengan besaran tertentu (tergantung pada kekuatan tes Anda).

— Erik
sumber

"Penemuan palsu, kesalahan Tipe I, dan positif palsu semua sama. Sedangkan tingkat positif palsu dan tingkat kesalahan Tipe I adalah sama, tingkat penemuan palsu adalah jumlah yang sama sekali berbeda." Definisi FDR dapat ditemukan di sini .

— Randel

Tentunya ketika hipotesis nol benar (atau semua hipotesis nol benar), FDR menurut definisi 100% (100% dari semua hipotesis nol yang ditolak salah ditolak).

— Bjorn

@ Björn FDR adalah pilihan peneliti, seperti halnya FWER. Jika FDR = 0,05 dan semua

m

$m$ hipotesis nol benar, maka jumlah yang diharapkan dari penemuan palsu adalah

0.05 m

$0.05m$ . Tidak ada dalam literatur FDR mani akan Anda melihat metode yang diusulkan untuk menolak semua hipotesis nol yang benar. Saya curiga Anda mengacaukan gagasan " semua hipotesis nol yang ditolak benar adalah penemuan yang salah" dan "FDR menolak semua hipotesis nol yang benar."

— Alexis

Perbedaan antara nilai P dan tingkat positif palsu (atau tingkat penemuan palsu) dijelaskan, jelas saya harap, di http://rsos.royalsocietypublishing.org/content/1/3/140216

Meskipun makalah itu menggunakan istilah False Discovery Rate, saya sekarang lebih suka False Positive Rate, karena istilah sebelumnya sering digunakan dalam konteks koreksi untuk beberapa perbandingan. Itu masalah yang berbeda. Makalah ini menunjukkan bahwa untuk uji tunggal yang tidak bias, tingkat positif palsu jauh lebih tinggi daripada nilai P dalam hampir semua keadaan.

Ada juga deskripsi kualitatif dari logika yang mendasarinya di https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistically-significant

— David Colquhoun
sumber