Interpretasi hasil yang tidak signifikan sebagai "tren"

Baru-baru ini, dua rekan kerja yang berbeda telah menggunakan semacam argumen tentang perbedaan antara kondisi yang tampaknya salah bagi saya. Kedua rekan kerja ini menggunakan statistik, tetapi mereka bukan ahli statistik. Saya seorang pemula dalam statistik.

Dalam kedua kasus, saya berpendapat bahwa, karena tidak ada perbedaan yang signifikan antara dua kondisi dalam percobaan, itu tidak benar untuk membuat klaim umum tentang kelompok-kelompok ini sehubungan dengan manipulasi. Perhatikan bahwa "membuat klaim umum" berarti sesuatu seperti menulis: "Grup A lebih sering menggunakan X daripada grup B".

Rekan kerja saya menjawab: "Meskipun tidak ada perbedaan yang signifikan, trennya masih ada" dan "meskipun tidak ada perbedaan yang signifikan, masih ada perbedaan". Bagi saya, kedua hal ini terdengar seperti dalih, yaitu, mereka mengubah arti "perbedaan" dari: "perbedaan yang kemungkinan merupakan hasil dari sesuatu selain kebetulan" (yaitu, signifikansi statistik), menjadi "tidak ada perbedaan nol dalam pengukuran antar kelompok ".

Apakah tanggapan rekan kerja saya benar? Saya tidak mengambilnya dengan mereka karena mereka mengungguli saya.

Ini pertanyaan yang bagus; jawabannya tergantung pada konteks.

Secara umum saya akan mengatakan Anda benar : membuat klaim umum yang tidak memenuhi syarat seperti "grup A yang digunakan X lebih sering daripada grup B" adalah menyesatkan. Akan lebih baik mengatakan sesuatu seperti

di grup eksperimen kami, A menggunakan X lebih sering daripada grup B, tetapi kami sangat tidak yakin bagaimana ini akan berlaku pada populasi umum

atau

meskipun grup A menggunakan X 13% lebih sering daripada grup B dalam percobaan kami, perkiraan kami mengenai perbedaan dalam populasi umum tidak jelas : nilai yang masuk akal berkisar dari A menggunakan X 5% lebih jarang daripada grup B ke A menggunakan X 21% lebih sering daripada kelompok B

atau

kelompok A menggunakan X 13% lebih sering daripada kelompok B, tetapi perbedaannya tidak signifikan secara statistik (95% CI -5% hingga 21%; p = 0,75)

Di sisi lain: rekan kerja Anda benar bahwa dalam percobaan khusus ini , kelompok A menggunakan X lebih sering daripada kelompok B. Namun, orang jarang peduli dengan peserta dalam eksperimen tertentu; mereka ingin tahu bagaimana hasil Anda akan digeneralisasi ke populasi yang lebih besar, dan dalam hal ini jawaban umumnya adalah Anda tidak dapat mengatakan dengan yakin apakah grup A yang dipilih secara acak akan menggunakan X lebih banyak atau lebih jarang daripada grup B. yang dipilih secara acak.

Jika Anda perlu membuat pilihan hari ini tentang apakah akan menggunakan pengobatan A atau perawatan B untuk meningkatkan penggunaan X, tanpa adanya informasi lain atau perbedaan biaya dll, maka memilih A akan menjadi taruhan terbaik Anda. Tetapi jika Anda ingin merasa nyaman bahwa Anda mungkin membuat pilihan yang tepat, Anda akan memerlukan lebih banyak informasi.

Perhatikan bahwa Anda tidak boleh mengatakan "tidak ada perbedaan antara grup A dan grup B dalam penggunaan X", atau "grup A dan grup B menggunakan X jumlah yang sama". Ini tidak benar dari peserta dalam percobaan Anda (di mana A menggunakan X 13% lebih banyak) atau dalam populasi umum; di sebagian besar konteks dunia nyata, Anda tahu bahwa ada benar-benar harus beberapa efek (tidak peduli seberapa sedikit) dari A vs B; Anda tidak tahu ke mana arahnya.

Itu pertanyaan yang sulit!

Pertama-tama, ambang yang Anda pilih untuk menentukan signifikansi statistik adalah arbitrer. Fakta bahwa kebanyakan orang menggunakan $5\%$ $p$ tidak membuatnya lebih benar daripada yang lain. Jadi, dalam beberapa hal, Anda harus memikirkan signifikansi statistik sebagai "spektrum" daripada subjek hitam-putih.

Anggaplah kita memiliki hipotesis nol $H_0$ (misalnya, kelompok $A$ dan $B$ menunjukkan rata-rata yang sama untuk variabel $X$ , atau rata-rata populasi untuk variabel $Y$ bawah 5). Anda dapat menganggap hipotesis nol sebagai hipotesis "tidak ada tren". Kami mengumpulkan beberapa data untuk memeriksa apakah kami dapat membantah $H_0$ (hipotesis nol tidak pernah "terbukti benar"). Dengan sampel kami, kami membuat beberapa statistik dan akhirnya mendapatkan $p$ -nilai . Singkatnya, $p$ -value adalah probabilitas bahwa peluang murni akan menghasilkan hasil yang sama (atau lebih) ekstrem daripada yang kita dapatkan, dengan asumsi tentu saja $H_0$ menjadi kenyataan (yaitu, tidak ada tren).

Jika kita mendapatkan nilai $p$ "rendah" , kami mengatakan bahwa kesempatan jarang menghasilkan hasil seperti itu, oleh karena itu kami menolak $H_0$ (ada bukti signifikan secara statistik bahwa $H_0$ bisa salah). Jika kita mendapatkan nilai $p$ "tinggi" , maka hasilnya lebih cenderung menjadi hasil keberuntungan, daripada tren yang sebenarnya. Kami tidak mengatakan $H_0$ itu benar, tetapi lebih tepatnya, studi lebih lanjut harus dilakukan untuk menolaknya.

PERINGATAN: Sebuah $p$ -nilai dari $23\%$ tidak berarti bahwa ada $23\%$ kemungkinan ada tidak menjadi tren apapun, melainkan, kesempatan yang menghasilkan hasil seperti yang$23\%$$H_0:=$$0.5\%$ $p-$ nilai, Anda masih punya alasan kuat untuk tidak mempercayai saya, meskipun signifikansi statistiknya.

$X$$\beta$$H_0:$ $\beta=0$$\beta \leq 0$ Dalam bahasa Inggris, "obat tidak memiliki efek" atau "obat tidak memiliki efek negatif atau tidak."

$\beta=0$ tetap di 0,79. Bisakah kita mengatakan ada tren? Nah, itu benar-benar akan menghilangkan makna "tren". Jika kita menerima hal semacam itu, pada dasarnya setengah dari semua eksperimen yang kita lakukan akan menunjukkan "tren," bahkan ketika menguji hal-hal yang paling konyol.

$4\%$

Saya harap penjelasan yang terlalu bertele-tele ini membantu Anda menyortir gagasan Anda. Rangkumannya adalah Anda benar! Kita tidak boleh mengisi laporan kita, apakah itu untuk penelitian, bisnis, atau apa pun, dengan klaim liar yang didukung oleh sedikit bukti. Jika Anda benar-benar berpikir ada tren, tetapi Anda tidak mencapai signifikansi statistik, maka ulangi percobaan dengan lebih banyak data!

Efek signifikan hanya berarti bahwa Anda mengukur anomali yang tidak mungkin (tidak mungkin jika hipotesis nol, tidak adanya efek, akan benar). Dan sebagai konsekuensinya ia harus diragukan dengan probabilitas tinggi (walaupun probabilitas ini tidak sama dengan nilai-p dan juga tergantung pada kepercayaan sebelumnya).

Bergantung pada kualitas percobaan Anda dapat mengukur ukuran efek yang sama , tetapi itu mungkin bukan anomali (bukan hasil yang tidak mungkin jika hipotesis nol benar).

Ketika Anda mengamati efek tetapi tidak signifikan maka memang itu (efek) masih bisa ada, tetapi itu hanya tidak signifikan (pengukuran tidak menunjukkan bahwa hipotesis nol harus diragukan / ditolak dengan probabilitas tinggi). Ini berarti Anda harus meningkatkan percobaan Anda, mengumpulkan lebih banyak data, untuk lebih yakin.

Jadi, alih-alih efek dikotomi versus tanpa efek, Anda harus memilih empat kategori berikut :

Gambar dari https://en.wikipedia.org/wiki/Equivalence_test menjelaskan prosedur dua uji satu sisi (TOST)

Anda tampaknya berada di kategori D, tes ini tidak meyakinkan. Rekan kerja Anda mungkin salah mengatakan bahwa ada efeknya. Namun, sama-sama salah untuk mengatakan bahwa tidak ada efek!

Sepertinya mereka memperdebatkan nilai p vs definisi "Tren".

Jika Anda memplot data pada run chart, Anda dapat melihat tren ... run plot points yang menunjukkan tren naik atau turun seiring waktu.

Tetapi, ketika Anda melakukan statistik di atasnya .. nilai-p menunjukkan itu tidak signifikan.

Agar nilai-p menunjukkan sedikit signifikansi, tetapi bagi mereka untuk melihat tren / serangkaian data ... itu harus menjadi tren yang sangat kecil.

Jadi, jika itu yang terjadi, saya akan kembali pada nilai-p .. IE: ok, ya, ada tren / run dalam data .. tapi sangat sedikit dan tidak signifikan sehingga statistik menunjukkan tidak layak untuk mengejar lebih jauh analisis dari.

Tren yang tidak signifikan adalah sesuatu yang dapat dikaitkan dengan beberapa jenis bias dalam penelitian .. mungkin sesuatu yang sangat kecil .. sesuatu yang mungkin hanya terjadi satu kali dalam percobaan yang kebetulan menciptakan sedikit tren.

Jika saya adalah manajer grup, saya akan memberitahu mereka untuk berhenti membuang-buang waktu dan uang menggali tren yang tidak signifikan, dan mencari yang lebih signifikan.

Kedengarannya seperti dalam kasus ini mereka memiliki sedikit pembenaran untuk klaim mereka dan hanya menyalahgunakan statistik untuk mencapai kesimpulan yang sudah mereka miliki. Tapi ada kalanya tidak terlalu ketat dengan cutoff p-val. Ini (bagaimana menggunakan signifikansi statistik dan cutoff pval) adalah perdebatan yang telah berkecamuk sejak Fisher, Neyman, dan Pearson pertama kali meletakkan dasar-dasar pengujian statistik.

Katakanlah Anda sedang membangun model dan Anda memutuskan variabel apa yang termasuk. Anda mengumpulkan sedikit data untuk melakukan investigasi awal ke dalam variabel potensial. Sekarang ada satu variabel yang sangat diminati oleh tim bisnis, tetapi penyelidikan awal Anda menunjukkan bahwa variabel tersebut tidak signifikan secara statistik. Namun, 'arah' variabel itu sesuai dengan apa yang diharapkan oleh tim bisnis, dan meskipun tidak memenuhi ambang batas untuk signifikansi, itu dekat. Mungkin diduga memiliki korelasi positif dengan hasil dan Anda mendapatkan koefisien beta yang positif tetapi pval itu hanya sedikit di atas batas 0,05.

Dalam hal ini, Anda dapat melanjutkan dan memasukkannya. Ini semacam statistik bayesian informal - ada kepercayaan sebelumnya yang kuat bahwa itu adalah variabel yang berguna dan penyelidikan awal menunjukkan beberapa bukti ke arah itu (tapi bukan bukti signifikan secara statistik!) Sehingga Anda memberikan manfaat keraguan dan simpan dalam model. Mungkin dengan lebih banyak data akan lebih jelas hubungan apa yang ada dengan hasil yang diinginkan.

Contoh lain mungkin di mana Anda sedang membangun model baru dan Anda melihat variabel yang digunakan dalam model sebelumnya - Anda mungkin terus memasukkan variabel marginal (variabel yang ada di puncak signifikansi) untuk mempertahankan kesinambungan dari model untuk model.

Pada dasarnya, tergantung pada apa yang Anda lakukan ada alasan untuk menjadi semakin ketat tentang hal-hal semacam ini.

Di sisi lain, penting juga untuk diingat bahwa signifikansi statistik tidak harus menyiratkan signifikansi praktis! Ingatlah bahwa inti dari semua ini adalah ukuran sampel. Kumpulkan data yang cukup dan kesalahan standar estimasi akan menyusut menjadi 0. Ini akan membuat segala macam perbedaan, tidak peduli seberapa kecil, 'signifikan secara statistik' bahkan jika perbedaan itu mungkin tidak berarti apa pun di dunia nyata. Misalnya, anggap probabilitas pendaratan koin tertentu di kepala adalah 0,500000000000001. Ini berarti bahwa secara teoritis Anda dapat merancang eksperimen yang menyimpulkan bahwa koin itu tidak adil, tetapi untuk semua maksud dan tujuan koin tersebut dapat diperlakukan sebagai koin yang adil.