Dapatkah interval kepercayaan yang sempit di sekitar efek non-signifikan memberikan bukti untuk nol?

9

Jelas keliru untuk menganggap bahwa kegagalan untuk menolak nol menyiratkan bahwa nol itu benar. Tetapi dalam kasus di mana nol tidak ditolak dan interval kepercayaan yang sesuai (CI) sempit dan berpusat di sekitar 0, apakah ini tidak memberikan bukti untuk nol?

Saya memiliki dua pemikiran: Ya, dalam praktiknya ini akan memberikan bukti bahwa efeknya kurang lebih 0. Namun, dalam kerangka pengujian hipotesis yang ketat, tampaknya efek nol tidak dapat digunakan untuk inferensi, seperti halnya CI mereka yang sesuai. Jadi apa arti CI ketika estimasi titiknya tidak signifikan? Apakah ini juga tidak dapat digunakan untuk inferensi atau dapatkah digunakan seperti pada contoh sebelumnya untuk menghitung bukti untuk null?

Jawaban dengan referensi ilmiah dianjurkan.

hypothesis-testing statistical-significance confidence-interval

— ATJ
sumber

Anda mungkin akan tertarik pada pengujian kesetaraan dan pertanyaan di situs yang merincinya. Lihat Bagaimana menguji hipotesis tanpa perbedaan kelompok? sebagai contoh.

— Andy W

1

Jika Anda bermaksud bukti untuk titik nol terhadap alternatif dari yang lain ... maka, tidak. Jumlah tak terhingga banyaknya alternatif antara nilai yang diamati sangat kecil dan nol masih akan lebih mungkin daripada nol. Jika Anda bermaksud sesuatu yang lain, maka mungkin dalam beberapa keadaan.

— Glen_b -Reinstate Monica

Ya, maka itu akan menjadi masalah pengujian yang setara, sebuah istilah yang belum pernah saya dengar.

— ATJ

6

Singkatnya: Ya.

Seperti yang ditulis Andy W, menyimpulkan bahwa parameter sama dengan nilai yang ditentukan (dalam kasus Anda, ukuran efek sama dengan nol), adalah masalah pengujian kesetaraan.

$1-\alpha$ $1-2\alpha$

Silakan lihat "Pengujian Hipotesis Statistik Kesetaraan dan Non-inferioritas Stefan Wellek" untuk bacaan lebih lanjut, buku paling komprehensif tentang masalah ini.

— Horst Grünbusch
sumber

2

Hipotesis Null mencontohkan makna "Semua model salah, tetapi beberapa berguna." Mereka mungkin paling berguna jika tidak diambil secara harfiah dan di luar konteks - yaitu, penting untuk mengingat tujuan epistemik dari nol. Jika itu bisa dipalsukan, yang merupakan tujuan yang dimaksudkan, maka alternatifnya menjadi lebih bermanfaat dengan perbandingan, meskipun masih agak tidak informatif. Jika Anda menolak nol, Anda mengatakan pengaruhnya mungkin bukan nol (atau apa pun - hipotesis nol dapat menentukan nilai lain untuk pemalsuan juga) ... jadi lalu apa?

$0.\bar 0$

$p$ $n=1\rm M$ $\mathcal N(0,1)$ x=c()x=append(x,replicate(500,cor(rnorm(999999),rnorm(999999))))sebanyak yang saya rawat sebelum menyelesaikan jawaban ini, yang memberi saya 6000 sampel pada akhirnya. Berikut adalah histogram dan plot kerapatan yang menggunakan hist(x,n=length(x)/100)dan plot(density(x)), masing-masing:

$\ \ \ \$

skew(x)kurtosis(x) $n=1\rm M$

$|r|=.004$ $n=999$ $1\rm M$ $|r|=.14$

CI mungkin lebih berguna untuk inferensi daripada NHST pada umumnya. Itu tidak hanya menggambarkan seberapa buruk suatu ide dengan menganggap parameternya sangat kecil; itu mewakili ide bagus tentang apa sebenarnya parameter itu. Orang masih bisa memutuskan apakah ini bisa diabaikan, tetapi juga bisa merasakan bagaimana hal itu bisa diabaikan. Untuk advokasi interval kepercayaan lebih lanjut, lihat Cumming ⁽²⁰¹⁴^{, 2013)} .

_{Referensi

- Cumming, G. (2013). Memahami statistik baru: Ukuran efek, interval kepercayaan, dan meta-analisis . Rutekan.

- Cumming, G. (2014). Statistik baru: Mengapa dan bagaimana. Ilmu Psikologi, 25 (7), 7-29. Diperoleh dari http://pss.sagepub.com/content/25/1/7.full.pdf+html .}

— Nick Stauner
sumber

Terima kasih, saya sangat akrab dengan pekerjaan Cumming. Saya kira pertanyaan saya lebih sesuai, "jika estimasi titik ES tidak signifikan, maka dapatkah CI digunakan untuk inferensi? (Atau apakah mereka 'nol' yaitu, tidak berguna sebagai estimasi titik)"

— ATJ

1

1 - α

$1-\alpha$

α

$\alpha$

cor.test(rnorm(9999999),rnorm(9999999))

{- 0.00063, 0.00060}

$\{-0.00063,0.00060\}$

r = 0.00029

$r=0.00029$