Apakah ada cara yang berguna untuk mendefinisikan interval kepercayaan “terbaik”?

Definisi standar (katakanlah) interval kepercayaan 95% (CI) hanya mensyaratkan bahwa probabilitas bahwa itu berisi parameter sebenarnya adalah 95%. Jelas, ini tidak unik. The bahasa Aku pernah melihat menunjukkan bahwa di antara banyak CI valid, biasanya masuk akal untuk menemukan sesuatu seperti terpendek, atau simetris, atau dikenal tepatnya bahkan ketika beberapa parameter distribusi tidak diketahui, dll Dengan kata lain, ada tampaknya tidak ada hierarki yang jelas dari apa CI "lebih baik" dari yang lain.

Namun, saya pikir satu definisi setara CI adalah bahwa ia terdiri dari semua nilai sedemikian sehingga hipotesis nol bahwa parameter sebenarnya sama dengan nilai yang tidak akan ditolak pada tingkat signifikansi yang sesuai setelah melihat sampel yang direalisasikan. Ini menunjukkan bahwa selama kita memilih tes yang kita sukai, kita dapat secara otomatis membuat CI. Dan ada preferensi standar di antara tes berdasarkan konsep UMP (atau UMP di antara tes yang tidak bias).

Apakah ada manfaat dalam mendefinisikan CI sebagai yang sesuai dengan tes UMP atau sesuatu seperti itu?

hypothesis-testing confidence-interval

— maks
sumber

(+1) Ada dua kesulitan dengan proposal Anda. Yang pertama adalah bahwa tes UMP sering tidak ada. Yang kedua adalah bahwa cara yang bermanfaat untuk mengevaluasi interval kepercayaan adalah dalam hal fungsi kerugian terkait. Hal ini memungkinkan untuk berbagai solusi yang fleksibel tetapi luas.

— whuber

Definisi interval kepercayaan bukanlah apa yang Anda klaim, seperti dibahas di beberapa tempat di situs ini, misalnya di sini: stats.stackexchange.com/questions/13655/… dan di sini: stats.stackexchange.com/a/6431/5829

— Jake Westfall

Apa tujuan CI bagi Anda? Apa yang kamu coba lakukan dengan itu?

— Aksakal

@ Akakal sebenarnya, saya baru menyadari bahwa saya sangat bingung tentang konsep dan ingin memahaminya dengan lebih baik. Tidak spesifik untuk aplikasi apa pun.

— maks.

@JakeWestfall Saya menemukan diskusi yang menarik tetapi tidak ada definisi yang jelas di salah satu tautan tersebut. Bisakah Anda mengarahkan saya ke definisi tertentu? Saya tidak mengklaim definisi saya benar, tetapi hanya itu yang saya temukan setelah pencarian singkat buku teks statistik. Bahkan, definisi yang sama ditawarkan dalam makalah Morey yang disebutkan dalam jawaban Alex

— max

Jawaban:

Agak panjang untuk komentar. Lihatlah diskusi tentang UMP di makalah ini "Kekeliruan menempatkan kepercayaan dalam interval kepercayaan" oleh Morey et al. Secara khusus, ada beberapa contoh di mana:

"Yang lebih anehnya, interval dari prosedur UMP awalnya bertambah lebar dengan ketidakpastian dalam data, tetapi ketika lebar kemungkinan lebih besar dari 5 meter, lebar interval UMP berbanding terbalik dengan ketidakpastian dalam data, seperti interval nonparametrik. UMP dan prosedur distribusi sampel berbagi perbedaan yang meragukan bahwa CI mereka tidak dapat digunakan untuk bekerja mundur untuk pengamatan. Meskipun menjadi prosedur "paling kuat", prosedur UMP jelas membuang informasi penting. "

— Alex R.
sumber

Bagaimana dengan arah lainnya? Dengan interval kepercayaan yang baik, apakah uji hipotesis nol yang sesuai secara umum baik?

— maks

Penolakan hanya bagian dari kesimpulan, jangan terjebak di sana. Anda sedang membuat keputusan. Katakanlah Anda perlu memutuskan apakah akan pergi ke mekanik ketika lampu "periksa mesin" menyala atau lupakan saja.

Jadi, hipotesis nol Anda adalah bahwa mesin baik-baik saja, dan cahayanya hanyalah gangguan. Lampu periksa mesin adalah tes Anda. Katakanlah nilai-p adalah 5%, sedangkan signifikansi Anda adalah , sehingga Anda tidak dapat menolak nol, dan melanjutkan bisnis Anda. Inilah cara kerja signifikansi statistik dalam bentuk naifnya. $\alpha=0.01$

Itu bukan bagaimana keputusan harus dibuat dan bagaimana signifikansi ekonomi harus diperhitungkan. Anda harus menghitung biaya penggunaan dengan null vs. menolaknya dan memilih hipo alternatif.

Saya benar-benar menghilangkan hipotesis alternatif dalam contoh di atas, karena begitulah semua orang melakukannya: mereka pikir hipo alternatif hanyalah semacam formalitas seperti curtsy. Dalam kehidupan nyata, alternatif sama pentingnya dengan nol, karena itulah cara Anda menghitung biaya untuk tidak memilih nol. Hanya ketika Anda memperhitungkan biaya nol dan alternatif, Anda harus membuat keputusan untuk pergi atau tidak pergi ke mekanik. Interval p-value dan kepercayaan diri mereka sendiri tidak memiliki arti dalam hal ini, hanya dalam hubungannya dengan biaya mereka menjadi bermakna

— Aksakal
sumber

Saya tidak bermaksud bahwa penolakan adalah akhir dari cerita. Saya benar-benar terkejut ketika saya menyadari semua definisi CI yang saya temukan diizinkan non-unik CI. Dengan semua peringatan lain di sekitar menggunakan CI, saya berharap setidaknya tidak harus berurusan dengan kenyataan bahwa pilihan CI tertentu sewenang-wenang.

— Maks