Sekarang saya telah menolak hipotesis nol, selanjutnya apa?

Saya berulang kali menolak atau gagal menolak hipotesis nol. Dalam kegagalan untuk menolak kasus, Anda menyimpulkan bahwa tidak ada bukti yang cukup untuk penolakan dan Anda "melanjutkan" (yaitu, mengumpulkan lebih banyak data, akhiri eksperimen, dll.)

Tetapi ketika Anda "benar-benar" menolak hipotesis nol, memberikan beberapa bukti untuk hipotesis alternatif, Anda tidak dapat benar-benar "membuktikan" bahwa hipotesis alternatif Anda memang benar adanya.

Jadi, apa langkah umum berikutnya setelah Anda menolak hipotesis nol? Alat / teknik apa yang digunakan seseorang untuk "menganalisis masalah lebih lanjut" untuk menjadikan lebih banyak temuan lebih konklusif? Apa "langkah selanjutnya" yang logis sebagai ahli statistik yang membutuhkan analisis lebih lanjut?

Sebagai contoh:

$H_0: \mu_1 = \mu_0$

$H_1: \mu_1 > \mu_0$ (misalkan kita tahu arah yang diharapkan)

Begitu kita menolak hipotesis nol pada tingkat signifikansi tertentu, kita memiliki "beberapa bukti" agar alternatif itu benar, tetapi kita tidak bisa menarik kesimpulan itu. Jika saya benar-benar ingin menarik kesimpulan itu secara meyakinkan (maafkan permainan kata ganda) apa yang harus saya lakukan?

Saya tidak pernah merenungkan pertanyaan ini selama masa sarjana saya, tetapi sekarang saya melakukan banyak pengujian hipotesis, saya tidak bisa tidak bertanya-tanya apa yang ada di depan :)

Secara umum Anda dapat terus meningkatkan perkiraan parameter apa pun yang mungkin Anda uji dengan lebih banyak data. Menghentikan pengumpulan data begitu sebuah tes mencapai tingkat signifikansi semi-arbitrer adalah cara yang baik untuk membuat kesimpulan yang buruk. Bahwa analis dapat salah memahami hasil yang signifikan sebagai tanda bahwa pekerjaan itu dilakukan adalah salah satu dari banyak konsekuensi yang tidak disengaja dari kerangka kerja Neyman-Pearson, yang menurutnya orang menginterpretasikan nilai p sebagai alasan untuk menolak atau gagal untuk menolak nol tanpa syarat tergantung pada di sisi mana ambang kritis mereka berada.

Tanpa mempertimbangkan alternatif Bayesian terhadap paradigma frequentist (semoga orang lain mau), interval kepercayaan terus menjadi lebih informatif jauh melampaui titik di mana hipotesis nol dasar dapat ditolak. Dengan asumsi mengumpulkan lebih banyak data hanya akan membuat tes signifikansi dasar Anda mencapai signifikansi yang lebih besar (dan tidak mengungkapkan bahwa temuan signifikansi Anda sebelumnya adalah positif palsu), Anda mungkin menemukan ini tidak berguna karena Anda akan menolak nol juga. Namun, dalam skenario ini, interval kepercayaan Anda di sekitar parameter yang dipermasalahkan akan terus menyusut, meningkatkan tingkat kepercayaan yang Anda dapat menggambarkan populasi yang Anda minati secara tepat.

Berikut adalah contoh yang sangat sederhana dalam r - menguji hipotesis nol yang untuk variabel yang disimulasikan:$\mu=0$

One Sample t-test

data:  rnorm(99) 
t = -2.057, df = 98, p-value = 0.04234
alternative hypothesis: true mean is not equal to 0 
95 percent confidence interval:
 -0.377762241 -0.006780574 
sample estimates:
 mean of x 
-0.1922714

Di sini saya hanya menggunakan t.test(rnorm(99)), dan kebetulan saya mendapatkan false positive (dengan asumsi saya telah default ke sebagai pilihan saya untuk tingkat kesalahan positif palsu yang dapat diterima). Jika saya mengabaikan interval kepercayaan, saya dapat mengklaim sampel saya berasal dari populasi dengan rata-rata yang berbeda secara signifikan dari nol. Secara teknis interval kepercayaan tidak mempermasalahkan hal ini, tetapi ini menunjukkan bahwa nilai tengahnya bisa sangat mendekati nol, atau bahkan lebih jauh dari itu daripada yang saya pikirkan berdasarkan sampel ini. Tentu saja, saya tahu nol sebenarnya secara harfiah benar di sini, karena rata-rata populasi adalah nol, tetapi orang jarang tahu dengan data nyata.$\alpha=.05$rnorm

Menjalankan ini lagi sebagai set.seed(8);t.test(rnorm(99,1))menghasilkan rata-rata sampel 0,91, p = 5,3E-13, dan interval kepercayaan 95% untuk . Kali ini saya bisa sangat yakin bahwa nol itu salah, terutama karena saya membuatnya dengan menetapkan rata-rata data yang disimulasikan ke 1.$\mu=[.69,1.12]$

Tetap saja, katakan penting untuk mengetahui betapa berbedanya dari nol; mungkin rata-rata 0,8 akan terlalu dekat dengan nol untuk perbedaan menjadi masalah. Saya dapat melihat bahwa saya tidak memiliki cukup data untuk mengesampingkan kemungkinan bahwa dari interval kepercayaan saya dan dari uji- t dengan , yang menghasilkan p = .33. Rata-rata sampel saya cukup tinggi untuk tampak berbeda secara bermakna dari nol menurut ambang 0,8 ini; mengumpulkan lebih banyak data dapat membantu meningkatkan kepercayaan diri saya bahwa perbedaannya setidaknya sebesar ini, dan tidak hanya lebih besar dari nol.$\mu=.8$mu=.8

Karena saya "mengumpulkan data" dengan simulasi, saya bisa sedikit tidak realistis dan meningkatkan ukuran sampel saya dengan urutan besarnya. Menjalankan set.seed(8);t.test(rnorm(999,1),mu=.8)menunjukkan bahwa lebih banyak data terus berguna setelah menolak hipotesis nol dari dalam skenario ini, karena sekarang saya dapat menolak nol dari dengan sampel saya yang lebih besar. Interval kepercayaan bahkan menunjukkan bahwa saya bisa menolak hipotesis nol hingga jika saya ingin melakukannya pada awalnya.μ = .8 μ = [ .90 , 1.02 ] μ = $\mu=0$$\mu=.8$$\mu=[.90,1.02]$$\mu=.89$

Saya tidak dapat merevisi hipotesis nol setelah fakta, tetapi tanpa mengumpulkan data baru untuk menguji hipotesis yang lebih kuat setelah hasil ini, saya dapat mengatakan dengan kepercayaan 95% bahwa mereplikasi "studi" saya akan memungkinkan saya untuk menolak . Sekali lagi, hanya karena saya dapat mensimulasikan ini dengan mudah, saya akan menjalankan kembali kode sebagai : melakukan hal itu menunjukkan kepercayaan diri saya tidak salah tempat.$H_0:\mu=.9$set.seed(9);t.test(rnorm(999,1),mu=.9)

Menguji hipotesis nol yang semakin ketat secara ketat, atau lebih baik lagi, hanya berfokus pada menyusutkan interval kepercayaan Anda hanyalah satu cara untuk melanjutkan. Tentu saja, sebagian besar studi yang menolak hipotesis nol meletakkan dasar bagi penelitian lain yang membangun hipotesis alternatif. Misalnya, jika saya menguji hipotesis alternatif bahwa suatu korelasi lebih besar dari nol, saya dapat menguji mediator atau moderator dalam studi lanjutan selanjutnya ... dan sementara saya melakukannya, saya pasti ingin memastikan Saya bisa meniru hasil asli.

Pendekatan lain untuk dipertimbangkan adalah pengujian kesetaraan . Jika Anda ingin menyimpulkan bahwa suatu parameter berada dalam kisaran tertentu dari nilai yang mungkin, tidak hanya berbeda dari satu nilai, Anda dapat menentukan rentang nilai yang Anda inginkan agar parameter berada di dalam sesuai dengan hipotesis alternatif konvensional Anda dan mengujinya terhadap serangkaian hipotesis nol yang berbeda yang bersama-sama mewakili kemungkinan bahwa parameter tersebut berada di luar rentang itu. Kemungkinan terakhir ini mungkin paling mirip dengan apa yang ada dalam pikiran Anda ketika Anda menulis:

Kami memiliki "beberapa bukti" agar alternatif itu benar, tetapi kami tidak dapat menarik kesimpulan itu. Jika saya benar-benar ingin menarik kesimpulan itu secara konklusif ...

set.seed(8)rnorm(99)rnorm(99,1)-1$\mu=.8$$-.2\le\mu\le.2$

require(equivalence);set.seed(8);tost(rnorm(99),epsilon=.2)

tost$\mu=[-.27,.09]$rnorm(999)$\mu=[-.09,.01]$

Saya masih berpikir interval kepercayaan lebih menarik daripada hasil tes kesetaraan. Ini mewakili apa yang disarankan oleh data mean populasi lebih khusus daripada hipotesis alternatif, dan menyarankan agar saya cukup yakin bahwa itu berada dalam interval yang bahkan lebih kecil daripada yang telah saya tentukan dalam hipotesis alternatif. Untuk menunjukkan, saya akan menyalahgunakan kekuatan simulasi saya yang tidak realistis sekali lagi dan "mereplikasi" menggunakan set.seed(7);tost(rnorm(999),epsilon=.09345092): cukup, p = .002.

Perhatikan terlebih dahulu bahwa @Nick Stauner membuat beberapa argumen yang sangat penting tentang penghentian opsional . Jika Anda berulang kali menguji data saat sampel masuk, berhenti setelah tes signifikan, Anda akan mendapat hasil yang signifikan. Namun, hasil yang dijamin praktis tidak berharga.

Berikut ini, saya akan menyajikan upaya terbaik saya untuk menguraikan posisi deductivist, skeptis, falsificationist. Ini tentu saja bukan satu-satunya, tetapi saya pikir yang agak utama, atau setidaknya satu dengan sedikit tradisi.

Sejauh yang saya mengerti, Fisher awalnya memperkenalkan tes signifikansi sebagai langkah pertama dalam eksplorasi data - menetapkan faktor-faktor mana yang mungkin perlu diselidiki lebih lanjut. Kecuali jika hipotesis nol yang Anda teskan sebenarnya adalah hipotesis kritis yang menjadi sandaran teori favorit Anda (tidak mungkin), dengan cara tertentu, tes awal Anda agak bersifat eksplorasi. Di antara langkah-langkah yang mungkin dilakukan setelah eksplorasi, saya melihat

• Eksplorasi lebih lanjut
• Estimasi Parameter
• Prediksi & Konfirmasi

Eksplorasi lebih lanjut terdiri dari tes tindak lanjut di mana Anda mencoba untuk menyimpulkan jika ada variabel Anda memiliki informasi tentang sedang atau berinteraksi dengan efek Anda. Misalnya, mungkin usia peserta berperan? Perhatikan bahwa analisis tersebut harus diberi label dengan jelas sebagai eksplorasi, atau pada dasarnya sama dengan berbohong. Jika Anda menemukan sesuatu, pertama-tama membutuhkan konfirmasi. Secara umum, Anda harus selalu jernih - baik dalam pikiran Anda, dan dalam tulisan Anda - tentang kapan Anda bekerja eksplorasi, dan ketika konfirmasi.

Berikutnya, setelah Anda telah menetapkan bahwa Anda tidak memiliki keyakinan dalam nilai satu parameter ini menjadi tepat nol - setelah Anda telah memutuskan Anda akan untuk saat ini mempertimbangkan faktor yang diuji memiliki beberapa pengaruh - satu langkah berikutnya layak bisa untuk lebih estimasi nilai yang tepat dari parameter . Misalnya, untuk saat ini, Anda hanya mengecualikan satu nilai, 0 (dengan asumsi tes dua sisi). Namun, data Anda juga meragukan banyak kemungkinan nilai lebih lanjut.

$\alpha$$\alpha$

Hume terkenal berargumen bahwa kita tidak pernah dapat secara induktif membuktikan pernyataan yang benar. Secara umum, hipotesis non-sepele selalu jauh lebih mudah untuk dipalsukan daripada untuk didukung; pada prinsipnya mudah dipalsukan (dengan menjadi tidak sepele, membuat prediksi yang tepat), tetapi sejauh ini tidak dipalsukan sebenarnya merupakan salah satu keutamaan tertinggi dari sebuah teori.

Jadi CI tidak akan membuat Anda membuktikan nilai tertentu. Namun, itu mempersempit set kandidat. Mungkin satu-satunya kandidat dibiarkan hidup membantu Anda memutuskan antara dua teori yang keduanya tidak kompatibel dengan H0. Misalnya, mungkin 0 dikecualikan, tetapi teori 1 memprediksi nilai sekitar 5, dan teori 2 memprediksi nilai sekitar 15. Jika 95% CI Anda mencakup 5, tetapi mengecualikan 15, Anda sekarang juga kehilangan kepercayaan terhadap teori 2, tetapi teori 1 tetap ada dalam game. Perhatikan bahwa ini sebenarnya independen dari tes awal Anda yang signifikan - bahkan jika 0 berada di antara nilai yang tidak ditolak, banyak nilai akan ditolak. Mungkin bagi beberapa peneliti lain, beberapa nilai ini menarik.

Setelah Anda menentukan pemahaman Anda tentang efek yang ada, Anda idealnya dapat membuat prediksi yang lebih tepat untuk eksperimen konfirmasi tindak lanjut yang bertujuan menguji hipotesis yang lebih tepat yang dapat Anda peroleh dari analisis saat ini. Diakui, menolak hipotesis nol statistik awal Anda tidak seberat tes hipotesis penelitian asli Anda , bukan? Banyak penjelasan lebih banyak daripada yang Anda inginkan tidak bergantung pada H0. Juga, karena Anda tidak pernah berada dalam bahaya untuk benar-benar menerima H0, Anda tidak dalam posisi untuk memalsukan teori favorit Anda! Jadi Anda perlu tes yang lebih berat. Bisa dibilang, ini sebenarnya yang Anda inginkan; Anda tidak ingin membuktikan teori Anda, Anda ingin meletakkannya di bawah ujian yang semakin parah, mencoba memalsukannya. Menahan upaya tulus (tapi adil) untuk membantahnya adalah yang terbaik yang bisa diberikan teori. Tetapi untuk ujian yang berat, Anda memerlukan teori yang lebih tepat daripada "0 bukan".

Anda sekarang telah mempelajari banyak fakta penting tentang studi konfirmasi; misalnya, Anda memiliki gagasan tentang varians dan besarnya efek dalam pertanyaan, memungkinkan Anda untuk memperkirakan ukuran sampel yang diperlukan untuk studi tindak lanjut melalui analisis daya. Anda juga dapat memprediksi nilai tertentu dan mengasumsikan wilayah kesetaraan praktis / ROPE di sekitarnya. Anda tidak akan pernah dapat membuktikan bahwa nilai spesifik ini adalah nilai sebenarnya; namun, jika CI dari percobaan tindak lanjut sepenuhnya berada dalam ROPE Anda, Anda memiliki bukti yang menguatkan teori Anda (dan mungkin membawa masalah dalam persaingan).

Gagasan bahwa Anda tidak dapat membuktikan proposisi ilmiah yang positif, tetapi hanya membuktikan salah, adalah prinsip pemalsuan Popper . Saya setuju bahwa Anda tidak dapat membuktikan bahwa efeknya persis sama dengan nilai poin yang diberikan (lih., Jawaban saya di sini: Mengapa ahli statistik mengatakan hasil yang tidak signifikan berarti "Anda tidak dapat menolak nol" sebagai lawan menerima hipotesis nol? ). Tapi lalu bagaimana?

$p$-nilai umumnya disalahpahami, dan tes hipotesis digunakan untuk tugas-tugas yang secara logis tidak dapat mereka selesaikan. Misalnya, pengujian hipotesis tidak boleh digunakan untuk menghasilkan hipotesis atau untuk memilih variabel. Selain itu, dengan data pengamatan pada dasarnya semua 'nol' hipotesis nol harus salah, sehingga pengujian seperti itu tidak masuk akal. Namun, para ilmuwan sering memiliki hipotesis a-priori yang disarankan oleh teori saat ini yang ingin mereka uji, dan dalam percobaan yang benar nol nol bisa jadi benar, sehingga pengujian itu sangat masuk akal. Biasanya, para peneliti memang memiliki beberapa alasan untuk mencurigai bahwa nol itu mungkin salah, sehingga hasil yang signifikan dalam hubungannya dengan eksperimen yang kuat adalah informasi yang valid.

Anda selalu dapat membentuk interval kepercayaan untuk mendapatkan gambaran yang lebih jelas tentang ketepatan perkiraan Anda, dan terus mengumpulkan lebih banyak data untuk meningkatkan ketepatannya. Meskipun demikian, secara ekonomi Anda akan mendapatkan hasil yang semakin berkurang . Pada titik tertentu, Anda sama sekali tidak percaya hipotesis nol memberikan penjelasan yang masuk akal tentang fenomena yang diteliti. Dalam hal ini, mengapa kamu repot?

Jika ada orang lain di bidang Anda yang belum yakin, tetapi akan dengan lebih banyak (dari data yang sama), maka Anda bisa melanjutkan, tetapi ini sepertinya situasi yang tidak biasa. Tampaknya lebih mungkin bagi saya bahwa orang-orang skeptis memiliki keprihatinan substantif lainnya mengenai apakah jalur penyelidikan itu cukup informatif tentang pertanyaan yang mendasarinya. Dengan demikian, Anda perlu menentukan sifat keprihatinan itu, dan jika menurut Anda hal itu layak dilakukan, cari data berbeda yang lebih memadai menangani masalah yang ada. Misalnya, Anda dapat mencoba mereplikasi temuan menggunakan ukuran yang berbeda, dalam pengaturan yang berbeda, dan / atau dengan kondisi kontrol yang berbeda.

Di sisi lain, semua orang (kurang lebih) mungkin puas dengan data dan kesimpulan Anda (selamat!). Dalam keadaan bahagia seperti itu, ada dua arah yang bisa Anda kejar untuk melanjutkan program penelitian Anda:

1. Sebuah reduksionis pendekatan akan berusaha untuk memahami mekanisme yang menghasilkan efek yang Anda telah ditetapkan. Dalam istilah statistik, Anda akan sering mencari mediator dan / atau penyempurnaan pola kekuatan kausal yang menghubungkan variabel yang Anda tunjukkan terkait.

2. $B$$C$$A$$A$

tl; dr: Jika Anda memiliki bukti yang cukup untuk tujuan Anda bahwa nol itu salah, cari tahu pertanyaan termotivasi apa lagi yang bisa Anda coba jawab dan lanjutkan.

Satu pemikiran yang ingin saya tambahkan adalah bahwa pertanyaan Anda mengingatkan saya pada diri saya yang lebih muda: Saya sangat ingin membuktikan hipotesis saya karena saya tidak bagaimana menulis "hipotesis salah" dengan cara yang membantu memperbaiki makalah yang saya tulis . Tetapi kemudian saya menyadari bahwa "sialnya hipotesis saya yang benar-benar indah tidak dapat dibuktikan" juga memiliki nilai ilmiah: 1. Pikirkan MENGAPA hipotesis Anda tidak tahan air. Apakah ada masalah dengan data, atau mungkin ada sesuatu dengan hipotesis itu sendiri? 2. Apa konsekuensi untuk penelitian yang lebih tua?

Sebagai contoh: Saya menulis tesis master saya tentang konflk etnis dengan menggunakan dataset baru yang lebih besar dari dataset sebelumnya. Saya menguji beberapa hipotesis yang disengketakan seperti "konflik etnis bahan bakar minyak" atau "regrien pegunungan lebih mungkin untuk konflik expierience". Saya tidak dapat membuktikan bahwa minyak memicu konflik etnis - tetapi saya menulis dua halaman tentang bagaimana kualitas dataset minyak yang tersedia mempengaruhi analisis (dataset itu sendiri adalah serangkaian waktu, dataset minyak sumur tidak). Tesis "gunung menyebabkan konflik" juga gagal - tetapi berbuah: penelitian sebelumnya menganalisis tesis ini dengan data tingkat negara (misalnya ketinggian rata-rata negara atau lebih),

Perlu diingat: menyangkal hipotesis bukanlah kegagalan tetapi hasil dan hipotesis terbukti.

Ada metode untuk menyisir probabilitas di seluruh studi yang dijelaskan di sini . Anda tidak boleh menerapkan formula secara membabi buta tanpa mempertimbangkan pola hasil.