Sanity check: seberapa rendah nilai p bisa?

Saya menggunakan uji ranksum untuk membandingkan rata-rata dua sampel ( ) dan telah menemukan bahwa mereka berbeda secara signifikan dengan: . Haruskah saya curiga dengan nilai- kecil atau haruskah saya menghubungkannya dengan kekuatan statistik tinggi yang terkait dengan memiliki sampel yang sangat besar? Apakah ada yang namanya nilai rendah yang mencurigakan ? $n=120000$ p = 1.12E-207 $p$ $p$

— N26
sumber

Ini hampir merupakan duplikat dari stats.stackexchange.com/questions/78839 .

— Amuba kata Reinstate Monica

Jawaban:

Nilai-P pada komputer standar (menggunakan pelampung presisi ganda IEEE) dapat mencapai serendah kira-kira . Ini bisa menjadi perhitungan yang benar secara sah ketika ukuran efek besar dan / atau kesalahan standar rendah. Nilai Anda, jika dihitung dengan T atau distribusi normal, sesuai dengan ukuran efek sekitar 31 kesalahan standar. Mengingat bahwa kesalahan standar biasanya berskala dengan akar kuadrat resiprokal dari $10^{-303}$ , yang mencerminkan perbedaan kurang dari 0,09 standar deviasi (dengan asumsi semua sampel independen). Dalam sebagian besar aplikasi, tidak akan ada yang mencurigakan atau tidak biasa tentang perbedaan seperti itu. $n$

Menafsirkan nilai-p seperti itu adalah masalah lain. Melihat angka sekecil atau bahkan sebagai probabilitas melebihi batas akal, mengingat semua cara di mana realitas cenderung menyimpang dari model probabilitas yang mendukung perhitungan nilai-p ini. Pilihan yang baik adalah melaporkan nilai p sebagai kurang dari ambang terkecil yang Anda rasa dapat didukung oleh model ini: seringkali antara dan . $10^{-207}$ $10^{-10}$ $0.01$ $0.0001$

— whuber
sumber

Ketika saya melaporkan '

' 'di sebuah makalah konferensi, seorang pengulas mengatakan kepada saya bahwa saya harus mengubahnya ke' '

' 'untuk mengikuti pedoman APA.

p < 10^{- 26}

$p<10^{-26}$

p < 0.001

$p<0.001$

— Thomas Levine

@whuber - Dinyatakan dengan indah.

— rolando2

(+1) Pada titik tertentu, kemungkinan besar pemerintah secara tidak sengaja membalik bit-bit Anda dalam RAM dari jarak jauh dengan teknologi mata-mata super ...

— JMS

(+1) Anda benar-benar bisa turun hingga tepat di bawah

di titik mengambang presisi ganda IEEE. Tetapi, rutinitas numerik Anda untuk menghitung nilai-

hampir dijamin akan berantakan sebelum itu. Kecuali jika Anda tahu fakta bahwa asumsi pemodelan Anda benar-benar benar (dan kapan itu?), Nilai

akhirnya menjadi ukuran ukuran sampel begitu sampel menjadi cukup besar.

5 \times 10^{- 324}

$5 \times 10^{-324}$

p

$p$

p

$p$

— kardinal

@ Cardinal kami berdua salah tentang batasan: selain dari nilai yang didenormalkan, IEEE double terkecil adalah sekitar

, sesuai dengan sepuluh bit untuk eksponen basis-2.

10^{- 308}

$10^{-308}$

— whuber

Tidak ada yang mencurigakan - nilai p yang sangat rendah seperti milik Anda cukup umum ketika ukuran sampel besar (seperti milik Anda adalah untuk membandingkan median). Seperti yang disebutkan whuber, biasanya nilai-p tersebut dilaporkan kurang dari beberapa ambang batas (mis. <0,001).

Satu hal yang perlu diperhatikan adalah bahwa nilai-p hanya memberi tahu Anda apakah perbedaan dalam median signifikan secara statistik . Apakah perbedaannya cukup signifikan dalam besarnya adalah sesuatu yang harus Anda putuskan: misalnya untuk set sampel besar, perbedaan sangat kecil dalam rata-rata / median dapat signifikan secara statistik, tetapi itu mungkin tidak terlalu berarti.

— xuexue
sumber

Nilai p dapat mencapai nilai 0.

$\theta$ $\mathcal{H}_0: \theta = 1$ $X=1.1$

— AdamO
sumber