Apakah rasio kemungkinan dan perbandingan model Bayesian memberikan alternatif yang unggul & cukup untuk pengujian hipotesis nol?

Menanggapi semakin banyaknya ahli statistik dan peneliti yang mengkritik kegunaan uji hipotesis nol (NHT) untuk sains sebagai upaya kumulatif, Gugus Tugas Asosiasi Psikologis Amerika untuk Inferensi Statistik menghindari larangan langsung pada NHT, tetapi sebaliknya menyarankan bahwa para peneliti laporkan ukuran efek selain nilai p yang berasal dari NHT.

Namun, ukuran efek tidak mudah terakumulasi di seluruh studi. Pendekatan meta-analitik dapat mengakumulasi distribusi ukuran efek, tetapi ukuran efek biasanya dihitung sebagai rasio antara besarnya efek mentah dan "noise" yang tidak dijelaskan dalam data percobaan yang diberikan, yang berarti bahwa distribusi ukuran efek dipengaruhi tidak hanya oleh variabilitas dalam besarnya baku efek di seluruh studi, tetapi juga variabilitas dalam manifestasi kebisingan di seluruh studi.

Sebaliknya, ukuran alternatif kekuatan efek, rasio kemungkinan, memungkinkan interpretasi intuitif berdasarkan studi-demi-studi, dan dapat dengan mudah dikumpulkan di seluruh studi untuk meta-analisis. Dalam setiap studi, kemungkinan mewakili bobot bukti untuk model yang mengandung efek yang diberikan relatif terhadap model yang tidak mengandung efek, dan biasanya dapat dilaporkan sebagai, misalnya, "Perhitungan rasio kemungkinan untuk efek X mengungkapkan 8 kali lebih banyak bukti untuk efek daripada null masing - masing ". Selain itu, rasio kemungkinan juga memungkinkan representasi intuitif dari kekuatan temuan nol sejauh rasio kemungkinan di bawah 1 mewakili skenario di mana nol disukai dan mengambil kebalikan dari nilai ini mewakili bobot bukti untuk nol atas efek. Terutama, rasio kemungkinan diwakili secara matematis sebagai rasio varian yang tidak dapat dijelaskan dari kedua model, yang hanya berbeda dalam varian yang dijelaskan oleh efek dan karenanya bukan merupakan keberangkatan konseptual besar dari ukuran efek. Di sisi lain, perhitungan rasio kemungkinan meta-analitik, mewakili bobot bukti untuk efek di seluruh studi, hanyalah masalah mengambil produk rasio kemungkinan di seluruh studi.

Jadi, saya berpendapat bahwa untuk sains yang berusaha untuk menetapkan tingkat bukti kotor yang mendukung efek / model, rasio kemungkinan adalah cara untuk pergi.

Ada lebih banyak kasus bernuansa di mana model hanya dapat dibedakan dalam ukuran efek tertentu, dalam hal ini semacam representasi dari interval yang menurut kami data konsisten dengan nilai parameter efek yang mungkin lebih disukai. Memang, gugus tugas APA juga merekomendasikan pelaporan interval kepercayaan, yang dapat digunakan untuk tujuan ini, tetapi saya menduga bahwa ini juga merupakan pendekatan yang dipertimbangkan dengan buruk.

Interval kepercayaan seringkali disalahtafsirkan ( oleh mahasiswa dan peneliti ). Saya juga takut bahwa kemampuan mereka untuk digunakan dalam NHT (dengan penilaian dimasukkannya nol dalam CI) hanya akan berfungsi untuk lebih lanjut menunda kepunahan NHT sebagai praktik yang dapat disimpulkan.

Sebaliknya, ketika teori dibedakan hanya oleh ukuran efek, saya menyarankan bahwa pendekatan Bayesian akan lebih tepat, di mana distribusi sebelumnya dari masing-masing efek didefinisikan oleh masing-masing model secara terpisah, dan distribusi posterior yang dihasilkan dibandingkan.

Apakah pendekatan ini, menggantikan nilai-p, ukuran efek dan interval kepercayaan dengan rasio kemungkinan dan, jika perlu, perbandingan model Bayesian, tampaknya cukup? Apakah ia melewatkan fitur inferensial yang diperlukan yang disediakan oleh alternatif yang difitnah di sini?

Keuntungan utama dari pendekatan Bayesian, setidaknya bagi saya sebagai peneliti dalam Psikologi adalah:

1) memungkinkan Anda mengumpulkan bukti yang mendukung nol

2) menghindari masalah teoritis dan praktis pengujian berurutan

3) tidak rentan untuk menolak nol hanya karena N besar (lihat poin sebelumnya)

4) lebih cocok ketika bekerja dengan efek kecil (dengan efek besar metode Frequentist dan Bayesian cenderung setuju hampir sepanjang waktu)

5) memungkinkan seseorang untuk melakukan pemodelan hierarkis dengan cara yang layak. Misalnya, memperkenalkan efek item dan peserta dalam beberapa kelas model seperti model Multinomial Processing Tree perlu dilakukan dalam kerangka kerja Bayesian jika tidak, waktu komputasi akan sangat lama.

6) memberi Anda interval kepercayaan "nyata"

7) Anda memerlukan 3 hal: kemungkinan, prior, dan kemungkinan data. pertama Anda dapatkan dari data Anda, yang kedua Anda make up, dan yang ketiga Anda tidak perlu sama sekali diberikan proporsionalitas. Ok, mungkin saya sedikit melebih-lebihkan ;-)

Secara keseluruhan, orang dapat membalikkan pertanyaan Anda: Apakah ini semua berarti bahwa statistik sering klasik tidak cukup? Saya pikir mengatakan "tidak" adalah keputusan yang terlalu keras. Sebagian besar masalah dapat agak dihindari jika seseorang melampaui nilai-p dan melihat hal-hal seperti ukuran efek, kemungkinan efek item, dan secara konsisten mereplikasi temuan (terlalu banyak makalah satu-percobaan dipublikasikan!).

Tapi tidak semuanya semudah itu dengan Bayes. Ambil contoh pemilihan model dengan model non-bersarang. Dalam kasus ini, prior sangat penting karena mereka sangat mempengaruhi hasil, dan kadang-kadang Anda tidak memiliki banyak pengetahuan tentang sebagian besar model yang Anda ingin bekerja dengan untuk mendapatkan prioritas Anda. Juga, membutuhkan waktu lama ...

Saya meninggalkan dua referensi untuk siapa saja yang mungkin tertarik untuk menyelam ke Bayes.

"Suatu Kursus dalam Pemodelan Grafis Bayesian untuk Sains Kognitif" oleh Lee dan Wagenmakers

"Pemodelan Bayesian Menggunakan WinBUGS " oleh Ntzoufras