Mengapa mengajarkan siswa bahwa nilai-p adalah probabilitas bahwa temuan adalah karena kebetulan?

34

Dapatkah seseorang tolong berikan penjelasan singkat yang bagus mengapa itu bukan ide yang baik untuk mengajar siswa bahwa nilai-p adalah masalahnya (temuan mereka adalah karena kesempatan [acak]). Pemahaman saya adalah bahwa nilai-p adalah masalahnya (mendapatkan data yang lebih ekstrim | hipotesis nol adalah benar).

Ketertarikan saya yang sebenarnya adalah apa salahnya mengatakan pada mereka bahwa itu adalah yang pertama (selain dari kenyataannya tidak begitu).

p-value randomness teaching

— Patrick
sumber

43

Karena itu salah?

— whuber

6

Mungkin yang Anda inginkan adalah contoh sederhana untuk menunjukkan bahwa itu bukan hanya salah, tetapi juga buruk?

— Karl

2

Beberapa hal hanyalah masalah fakta, Patrick, bukan dari pendapat: Pi tidak sama dengan tiga (meskipun ada upaya untuk mengesahkannya ), misalnya. Tetapi komentar Anda memang klarifikasi yang berguna: itu menunjukkan Anda tidak bertanya tentang bahaya mengajarkan hal yang salah, tetapi benar-benar mencari alasan untuk menjelaskan perbedaan kepada orang-orang.

— whuber

2

Ada diskusi yang bagus tentang masalah ini di stats.stackexchange.com/questions/5591/… , bahkan di antara balasan dengan suara rendah (IMHO).

— whuber

1

Ya Karl, saya kira saya mencari contoh dunia nyata. Mereka yang berurusan dengan studi berbasis pengamatan (misalnya, ilmu lingkungan, ekologi, ilmu satwa liar) akan menjadi hebat. Saya membaca utas itu (whuber) sebelum saya memposting ini, bersama dengan beberapa pub. Terima kasih untuk itu.

— Patrick

25

Saya memiliki interpretasi yang berbeda tentang arti pernyataan yang salah dari @Karl. Saya pikir itu adalah pernyataan tentang data, bukan tentang nol. Saya memahaminya sebagai menanyakan kemungkinan mendapatkan estimasi Anda karena kebetulan. Saya tidak tahu apa artinya itu --- itu bukan klaim yang ditentukan dengan baik.

Tapi saya mengerti apa yang dimaksud dengan kemungkinan mendapatkan estimasi saya secara kebetulan mengingat bahwa estimasi sebenarnya sama dengan nilai tertentu. Sebagai contoh, saya bisa mengerti apa artinya mendapatkan perbedaan yang sangat besar dalam ketinggian rata-rata antara pria dan wanita mengingat bahwa ketinggian rata-rata mereka sebenarnya sama. Itu ditentukan dengan baik. Dan itulah yang memberi nilai-p. Apa yang hilang dalam pernyataan yang salah adalah syarat bahwa nol itu benar.

Sekarang, kita mungkin keberatan bahwa ini bukan pernyataan sempurna (peluang untuk mendapatkan nilai tepat untuk penaksir adalah 0, misalnya). Tapi itu jauh lebih baik daripada cara kebanyakan orang akan menafsirkan nilai-p.

Poin kunci yang saya katakan berulang kali ketika saya mengajar pengujian hipotesis adalah "Langkah pertama adalah berasumsi bahwa hipotesis nol itu benar. Semuanya dihitung dengan asumsi ini." Jika orang ingat itu, itu cukup bagus.

— Charlie
sumber

Oh, itu terlihat bagus bagiku. Saya melihat saya telah membuat poin yang sama tanpa memperhatikan [menghela nafas] (+1)

— conjugateprior

Tapi bagaimana dengan "apa salahnya"?

— rolando2

15

$\text{H}_0$ $\Pr(\text{H}_0)$ $\Pr(\text{H}_0 | \text{data})$

$\Pr(\text{H}_0 | \text{data})$ bisa sangat berbeda dari nilai-p, dan untuk menginterpretasikan nilai-p dengan cara itu bisa sangat menyesatkan.

Ilustrasi paling sederhana: misalkan prior, cukup kecil, tetapi orang memiliki sedikit data, sehingga nilai-p lebih besar (katakanlah, 0,3), tetapi posterior, , masih cukup kecil. [Tapi mungkin contoh ini tidak begitu menarik.] $\Pr(H_0)$ $\Pr(\text{H}_0|\text{data})$

— Karl
sumber

Jadi Pr (H0 | data) == ke prob (temuan mereka karena kebetulan [acak])?

— Patrick

@ Patrick - ya.

— Karl

1

@ Patrick - tidak, pasti tidak. Dalam pengujian hipotesis klasik, tidak masuk akal.

Pr (H_{0} | anything)

$\Pr(H_0|\text{anything})$

— whuber

@whuber - tapi itu intinya. "prob (temuan mereka karena kebetulan [acak])" benar-benar yang menurut saya harus ditulis sebagai . Ini bisa masuk akal (dengan prior + Bayes), tapi itu bukan nilai p.

Pr (H_{0})

$\Pr(H_0)$

Pr (H_{0} | data)

$\Pr(H_0 | \text{data})$

— Karl

2

Hmm, saya pikir saya masih tidak mengikuti, meskipun saya bersyukur Anda telah meminta Bayes dan distribusi sebelumnya untuk memberikan konteks pada balasan dan komentar Anda, yang sebaliknya membingungkan. Itu mungkin karena saya menafsirkan "temuan" berarti "data," bukan " ". Sulit untuk membungkus pikiran saya di sekitar konsep "hipotesis nol adalah karena kebetulan," bahkan dalam model Bayesian. (Dalam pengaturan Bayesian, pernyataan itu tidak akan menambahkan informasi yang belum diasumsikan sejak awal: semua hipotesis adalah variabel acak.)

H_{0}

$H_0$

— whuber

14

Saya akan menambahkan jawaban terlambat dari perspektif (ex) siswa: IMHO kerusakannya tidak dapat dipisahkan dari kesalahannya.

Jenis "pendekatan / jalan pintas" yang salah seperti ini dapat menciptakan banyak kebingungan bagi siswa yang menyadari bahwa mereka tidak dapat secara logis memahami pernyataan itu, tetapi dengan asumsi bahwa apa yang diajarkan kepada mereka benar, mereka tidak menyadari bahwa mereka tidak dapat memahaminya. karena itu tidak benar.

Ini tidak memengaruhi siswa yang hanya menghafal aturan yang diberikan kepada mereka. Tetapi itu menuntut siswa yang belajar dengan memahami untuk menjadi cukup baik

tiba pada solusi yang benar sendiri dan
cukup baik sehingga mereka dapat yakin bahwa mereka benar
dan menyimpulkan bahwa mereka diajari omong kosong (untuk beberapa alasan yang diduga didaktik).

Saya tidak mengatakan bahwa tidak ada pintasan didaktik yang valid. Tapi IMHO ketika diambil jalan pintas, ini harus disebutkan (misalnya sebagai "untuk kemudahan argumen, kami menganggap / memperkirakan bahwa ...").
Namun dalam kasus khusus ini, saya pikir itu terlalu menyesatkan untuk digunakan.

— Cbeleites mendukung Monica
sumber

1

+1 Ini adalah poin yang sangat bagus, jika Anda mengajari siswa sesuatu yang tidak benar, Anda mendorong mereka untuk membuat model tentang bagaimana statistik bekerja yang salah, dan mungkin menyebabkan mereka salah memahami unsur-unsur statistik lain yang ada di silabus ( mis. apa interval kepercayaan - jika Anda mendorong siswa untuk berpikir probabilitas frequentist dapat dilampirkan ke hipotesis, maka mengapa itu tidak dapat diterapkan pada hipotesis bahwa nilai sebenarnya terletak pada interval tertentu). Pemahaman adalah tujuan sebenarnya dari pendidikan, dan ini membutuhkan ketelitian.

— Dikran Marsupial

8

Mengacu langsung ke pertanyaan: Di mana salahnya?

Menurut pendapat saya, jawaban untuk pertanyaan ini terletak pada kebalikan dari pernyataan, "Nilai-p adalah probabilitas bahwa temuan itu karena kebetulan acak." Jika seseorang mempercayai hal ini, maka ia mungkin juga meyakini hal berikut: "[1- (p-value)] adalah probabilitas bahwa temuan BUKAN karena kebetulan acak."

Kerugiannya terletak pada pernyataan kedua, karena, mengingat cara otak kebanyakan orang bekerja, pernyataan ini terlalu melebih-lebihkan seberapa yakin kita terhadap nilai spesifik dari parameter yang diestimasi.

— DL Dahly
sumber

6

Berikut adalah contoh sederhana yang saya gunakan:

Misalkan hipotesis nol kami adalah bahwa kami membalik koin berkepala 2 (jadi prob (kepala) = 1). Sekarang kita membalik koin satu kali dan mendapatkan kepala, nilai-p untuk ini adalah 1, jadi apakah itu berarti bahwa kita memiliki peluang 100% untuk memiliki koin berkepala 2?

Yang sulit adalah jika kita membalikkan ekor maka nilai-p akan menjadi 0 dan kemungkinan memiliki koin berkepala 2 adalah 0, jadi mereka cocok dalam kasus ini, tetapi tidak di atas. Nilai p 1 di atas hanya berarti bahwa apa yang telah kita amati sangat konsisten dengan hipotesis koin berkepala 2, tetapi itu tidak membuktikan bahwa koin berkepala 2.

Lebih lanjut, jika kita melakukan statistik frequentist maka hipotesis nol adalah Benar atau Salah (kita tidak tahu yang mana) dan membuat pernyataan probabilitas (frequentist) tentang hipotesis nol tidak ada artinya. Jika Anda ingin berbicara tentang probabilitas hipotesis, maka lakukan statistik Bayesian yang tepat, gunakan definisi probabilitas Bayesian, mulailah dengan prior dan hitung probabilitas posterior bahwa hipotesis itu benar. Hanya saja, jangan mengacaukan nilai-p dengan posterior Bayesian.

— Greg Snow
sumber

3

OK, pandangan lain yang sedikit berbeda:

Masalah dasar pertama adalah frasa "karena kebetulan [acak]". Gagasan 'kesempatan' yang tidak ditentukan datang secara alami kepada siswa tetapi berbahaya untuk berpikir jernih tentang ketidakpastian dan bencana untuk melakukan statistik yang masuk akal. Dengan sesuatu seperti urutan membalik koin, mudah untuk mengasumsikan bahwa 'peluang' dijelaskan oleh pengaturan Binomial dengan probabilitas 0,5. Ada kealamian tertentu untuk itu pasti, tetapi dari sudut pandang statistik itu tidak lebih alami daripada asumsi 0,6 atau yang lain. Dan untuk contoh-contoh lain yang kurang 'jelas', misalnya melibatkan parameter nyata, sama sekali tidak membantu untuk memikirkan seperti apa 'peluang' itu nantinya.

Sehubungan dengan pertanyaan, ide kunci adalah memahami apa semacam dari 'kesempatan' digambarkan oleh H0, yaitu apa kemungkinan yang sebenarnya / nama DGP H0. Begitu konsep itu ada, siswa akhirnya berhenti berbicara tentang hal-hal yang terjadi 'secara kebetulan', dan mulai bertanya apa sebenarnya H0 itu. (Mereka juga menemukan bahwa hal-hal dapat konsisten dengan variasi Hs yang agak luas sehingga mereka memulai dengan interval kepercayaan diri, melalui tes terbalik).

Masalah kedua adalah bahwa jika Anda sedang menuju definisi Fisher tentang nilai-p, Anda harus (imho) selalu menjelaskannya terlebih dahulu dalam hal konsistensi data dengan H0 karena titik p adalah untuk melihat itu, bukan untuk menafsirkan area ekor sebagai semacam aktivitas 'kebetulan', (atau terus terang menafsirkannya sama sekali). Ini murni masalah penekanan retoris, jelas, tetapi tampaknya membantu.

Singkatnya, bahayanya adalah bahwa cara menggambarkan hal-hal ini tidak akan digeneralisasi ke model non-sepele yang kemudian mereka coba pikirkan. Paling buruk itu hanya dapat menambah rasa misteri bahwa studi statistik sudah menghasilkan dalam jenis orang seperti deskripsi bowdlerised ditujukan.

— conjugateprior
sumber

1

Jika saya pisahkan, "nilai-p adalah probabilitas bahwa suatu efek disebabkan oleh kebetulan," tampaknya menyiratkan bahwa efek tersebut disebabkan oleh kebetulan. Tetapi setiap efek sebagian disebabkan oleh kebetulan. Dalam pelajaran statistik di mana seseorang menjelaskan kebutuhan untuk mencoba melihat melalui variabilitas acak ini adalah pernyataan yang cukup ajaib dan melampaui batas. Ini menanamkan nilai-p dengan kekuatan yang tidak mereka miliki.

Jika Anda mendefinisikan peluang dalam kasus tertentu sebagai hipotesis nol maka Anda menyatakan bahwa nilai-p menghasilkan probabilitas bahwa efek yang diamati disebabkan oleh hipotesis nol. Itu kelihatannya sangat dekat dengan pernyataan yang benar tetapi mengklaim bahwa suatu kondisi tentang probabilitas adalah penyebab probabilitas itu lagi-lagi menjangkau secara berlebihan. Pernyataan yang benar, bahwa nilai-p adalah probabilitas dari efek yang diberikan hipotesis nol adalah benar, tidak mengaitkan penyebab dengan efek nol. Penyebabnya beragam termasuk efek sebenarnya, variabilitas di sekitar efek, dan kesempatan acak. Nilai-p tidak mengukur probabilitas semua itu.

— John
sumber