Bagaimana memilih tingkat signifikansi untuk kumpulan data besar?

Saya bekerja dengan kumpulan data yang memiliki N sekitar 200.000. Dalam regresi, saya melihat nilai signifikansi yang sangat kecil << 0,001 terkait dengan ukuran efek yang sangat kecil, misalnya r = 0,028. Yang ingin saya ketahui adalah, apakah ada cara berprinsip untuk menentukan ambang batas signifikansi yang sesuai terkait dengan ukuran sampel? Apakah ada pertimbangan penting lainnya tentang menafsirkan ukuran efek dengan sampel sebesar itu?

— ted.strauss
sumber

Ini adalah masalah praktis dan signifikansi statistik. Jika kemiringan benar-benar berbeda dari 0, bahkan dengan jumlah sangat kecil misalnya .00000000000001), sampel yang cukup besar akan menghasilkan nilai

sangat kecil , walaupun hasilnya tidak memiliki signifikansi praktis. Anda akan lebih baik menafsirkan estimasi titik daripada nilai

ketika Anda memiliki ukuran sampel yang besar.

p

$p$

p

$p$

— Makro

@ Macro, maaf, bisakah Anda menjelaskan apa yang Anda maksud dengan estimasi poin di sini?

— ted.strauss

Menambah komentar Makro di atas, dalam situasi ini saya mencari signifikansi "praktis" atau "klinis" dalam temuan. Untuk apa yang Anda lakukan, apakah efeknya cukup besar untuk Anda pedulikan?

— Michelle

Estimasi titik adalah estimasi kemiringan regresi yang diamati.

— Makro

Apa yang saya dan @Macro katakan adalah bahwa Anda perlu memutuskan apakah efek klinis (estimasi titik, lereng) penting. Ambang Anda didasarkan pada penentuan "ya, ini adalah efek klinis yang penting" daripada "nilai p signifikan" karena sebagian besar (semua?) Nilai p Anda signifikan.

— Michelle

Jawaban:

Dalam The signifikansi pengujian signifikansi , Johnson (1999) mencatat bahwa nilai-p adalah arbitrer, di mana Anda dapat menjadikannya sekecil yang Anda inginkan dengan mengumpulkan data yang cukup, dengan asumsi hipotesis nol adalah salah, yang hampir selalu demikian. Di dunia nyata, tidak mungkin ada korelasi semi-parsial yang benar-benar nol, yang merupakan hipotesis nol dalam menguji signifikansi koefisien regresi. Pemutusan signifikansi nilai-P bahkan lebih sewenang-wenang. Nilai 0,05 sebagai batas antara signifikansi dan tidak signifikan digunakan oleh konvensi, bukan pada prinsipnya. Jadi jawaban untuk pertanyaan pertama Anda adalah tidak, tidak ada cara berprinsip untuk memutuskan batas signifikansi yang sesuai.

Jadi apa yang bisa Anda lakukan, mengingat kumpulan data besar Anda? Itu tergantung pada alasan Anda untuk mengeksplorasi signifikansi statistik dari koefisien regresi Anda. Apakah Anda mencoba memodelkan sistem multi-faktorial yang kompleks dan mengembangkan teori yang berguna yang cukup sesuai atau memprediksi kenyataan? Maka mungkin Anda bisa berpikir tentang mengembangkan model yang lebih rumit dan mengambil perspektif pemodelan di atasnya, seperti yang dijelaskan dalam Rodgers (2010), The Epistemology of Mathematical And Statistical Modeling . Salah satu keuntungan memiliki banyak data adalah dapat menjelajahi model yang sangat kaya, yang memiliki banyak level dan interaksi yang menarik (dengan asumsi Anda memiliki variabel untuk melakukannya).

Jika, di sisi lain, Anda ingin membuat penilaian apakah akan memperlakukan koefisien tertentu sebagai signifikan secara statistik atau tidak, Anda mungkin ingin mengambil saran Good (1982) seperti yang dirangkum dalam Woolley (2003) : Hitung nilai -q sebagai yang menstandarkan nilai p ke ukuran sampel 100. Nilai p tepat 0,001 mengkonversi ke nilai p sebesar 0,045 - masih signifikan secara statistik. $p\cdot\sqrt{(n/100)}$

Jadi, jika signifikan menggunakan ambang batas arbitrer atau yang lain, bagaimana? Jika ini adalah penelitian observasional, Anda memiliki lebih banyak pekerjaan untuk membenarkan bahwa itu sebenarnya bermakna dalam cara Anda berpikir dan bukan hanya hubungan palsu yang muncul karena Anda telah salah menentukan model Anda. Perhatikan bahwa efek kecil tidak begitu menarik secara klinis jika itu mewakili perbedaan yang sudah ada sebelumnya di antara orang yang memilih ke dalam tingkat pengobatan yang berbeda daripada efek pengobatan.

Anda perlu mempertimbangkan apakah hubungan yang Anda lihat secara praktis signifikan, seperti yang dicatat oleh komentator. Mengonversi angka-angka yang Anda kutip dari ke untuk varians dijelaskan ( adalah korelasi, kuadratkan untuk mendapatkan varians dijelaskan) masing-masing hanya memberikan varians 3 dan 6%, yang sepertinya tidak terlalu banyak. $r$ $r^2$ $r$

— Anne Z.
sumber

@ rolando2 terima kasih untuk hasil editnya, selalu bingung antara nilai-nilai besar / kecil! Saya pikir jika tidak tepat distribusi itu besar, tetapi nilai-p kecil.

— Anne Z.

(+1) Ini adalah fakta penting yang banyak praktisi tidak pikirkan dengan hati-hati: "nilai-p adalah arbitrer, di mana Anda dapat menjadikannya sekecil yang Anda inginkan dengan mengumpulkan data yang cukup, dengan asumsi hipotesis nol adalah salah, yang mana hampir selalu demikian. "

— Makro

Terima kasih! Poin-poin dalam paragraf kedua dari belakang Anda diambil dengan baik. Saya membaca artikel Woolley dan memperhatikan bahwa rumus q-value Anda tidak aktif. Seharusnya p * bukan p / - Saya mencoba mengubahnya di sini tetapi pengeditan harus> 6 karakter.

— ted.strauss

@ ted.strauss Saya senang ini membantu. Terkadang saya merasa kecil hati dengan keterbatasan alat-alat seperti nilai-p yang harus kita tangani. Terima kasih telah mencatat kesalahan dalam rumus, saya telah memperbaikinya.

— Anne Z.

Terima kasih atas jawabannya. Tetapi saya tidak dapat mengakses kertas Woolley 2003 menggunakan tautan yang disediakan di atas.

— KarthikS

-3

Saya kira cara mudah untuk memeriksa akan secara acak mengambil sampel dalam jumlah yang sama besar dari apa yang Anda ketahui adalah satu distribusi dua kali dan membandingkan dua hasil. Jika Anda melakukan itu beberapa kali dan mengamati nilai-p yang serupa, itu akan menyarankan bahwa tidak ada efek nyata. Jika di sisi lain Anda tidak, maka mungkin ada.

— Lars Kotthoff
sumber

p

$p$

< .001

$<.001$

p

$p$

p

$p$

p

$p$

U n i f o r m (0, 1)

${\rm Uniform}(0,1)$

Sehubungan dengan komentar terakhir oleh @ Macro, di sini adalah sketsa bukti bahwa, di bawah hipotesis nol

H_{0}

$H_0$

p

$p$

U [0, 1]

$U[0,1]$

T = T (X)

$T=T(X)$

t = t (x)

$t=t(x)$

p

$p$

p (t) = P (T \geq t ∣ H_{0})

$p(t)=\mathbb{P}(T\geq t\mid H_0)$

H_{0}

$H_0$

T

$T$

G_{0}

$G_0$

G_{0}

$G_0$

G_{0}^{- 1}

$G_0^{-1}$ . Then, we have

p (t) = 1 - G_{0} (t)

$p(t)=1-G_0(t)$ , and, for

u \in [0, 1]

$u\in[0,1]$

— Zen

(continuation of Zen's comment):

P (p (T) \leq u) = P (1 - G_{0} (T) \leq u) = P (G_{0} (T) \geq 1 - u) = P (T \geq G_{0}^{- 1} (1 - u)) = 1 - G_{0} (G_{0}^{- 1} (1 - u)) = u .

$\mathbb{P}(p(T)\leq u) = \mathbb{P}(1-G_0(T)\leq u) = \mathbb{P}(G_0(T)\geq 1-u) = \mathbb{P}(T\geq G_0^{-1}(1-u)) = 1-G_0(G_0^{-1}(1-u))=u \, .$ Hence, we conclude that

p (T) ∣ H_{0} \sim U [0, 1]

$p(T)\mid H_0\sim U[0,1]$ .

— whuber