Dalam pengaturan apa interval kepercayaan tidak akan menjadi lebih baik karena ukuran sampel meningkat?

Dalam sebuah posting blog , saya telah menemukan klaim itu

"Saya percaya WG Cochrane poin pertama (sekitar tahun 1970-an) bahwa dengan interval kepercayaan dalam pengaturan pengamatan, ukuran sampel yang kecil menghasilkan cakupan yang lebih baik dengan sampel yang cukup besar memberikan cakupan mendekati nol!"

Sekarang saya berasumsi bahwa lebar CI harus mendekati 0 dengan ukuran sampel yang meningkat, tetapi gagasan bahwa cakupan secara bersamaan akan memburuk tidak meyakinkan saya. Apakah klaim ini benar, dan dalam kondisi apa? Atau saya salah baca?

Saya telah menjalankan simulasi menggunakan data acak yang didistribusikan secara normal dengan ukuran sampel dari 10000 hingga 1000000 (uji satu sampel, 95% CI), 1000 berjalan pada setiap ukuran sampel, dan cakupan tidak menjadi lebih buruk untuk ukuran sampel yang lebih tinggi (Alih-alih, saya menemukan tingkat kesalahan mendekati-konstan ~ 5% yang diharapkan).

Perhatikan kualifikasi "dalam pengaturan pengamatan".

Memeriksa konteks dari mana Anda telah mengutipnya (subthread komentar yang ada di dalamnya), sepertinya maksudnya adalah "di dunia nyata" daripada dalam simulasi, dan mungkin tidak termasuk percobaan terkontrol. ... dan dalam kasus itu, maksud yang mungkin adalah konsekuensi dari kenyataan bahwa asumsi di mana interval diturunkan tidak benar-benar berlaku. Ada banyak hal yang dapat berdampak bias - yang memiliki efek kecil dibandingkan dengan variabilitas dalam sampel kecil - tetapi yang umumnya tidak mengurangi ukuran seiring dengan meningkatnya ukuran sampel, sedangkan kesalahan standar lakukan.

Karena perhitungan kami tidak memasukkan bias, karena interval menyusut (seperti ), bias tidak berubah, bahkan jika itu cukup kecil tampak lebih besar, membuat interval kami semakin sedikit dan cenderung untuk memasukkan nilai sebenarnya.$1/\sqrt n$

Berikut ini adalah ilustrasi - salah satu yang mungkin melebih-lebihkan bias - untuk menunjukkan apa yang saya pikirkan tentang probabilitas cakupan CI yang menyusut ketika ukuran sampel meningkat:

Tentu saja dalam sampel tertentu, intervalnya akan acak - itu akan lebih luas atau lebih sempit dan bergeser ke kiri atau kanan relatif terhadap diagram, sehingga pada setiap ukuran sampel memiliki beberapa kemungkinan cakupan antara 0 dan 1, tetapi jumlah bias akan membuatnya menyusut ke nol seiring meningkatnya . Berikut ini adalah contoh dengan 100 interval kepercayaan pada setiap ukuran sampel menggunakan data simulasi (diplot dengan transparansi, sehingga warnanya lebih solid di mana lebih banyak interval menutupinya):$n$

Ironi manis. Sebelum paragraf itu, orang yang sama mengatakan "Tidak heran ada kebingungan yang tersebar luas". "Interval kepercayaan dalam pengaturan pengamatan": apa artinya itu?

Tampak bagi saya bahwa ini sekali lagi merupakan kebingungan antara estimasi dan pengujian hipotesis .

Sekarang saya tahu lebar CI harus mendekati 1 dengan meningkatkan ukuran sampel.

Tidak, itu tergantung pada konteksnya. Pada prinsipnya, lebar harus konvergen ke . Cakupan harus dekat dengan nilai nominal untuk sejumlah besar simulasi Monte Carlo. Cakupan tidak tergantung pada ukuran sampel, kecuali beberapa asumsi di mana CI dibangun cacat (yang mungkin berarti OP maksudkan. "Semua model salah", ya.).$0$

Referensi adalah komentar di posting blog pribadi . Saya tidak akan terlalu khawatir tentang validitas referensi semacam ini. Blog, yang dimiliki oleh Larry Wasserman, cenderung ditulis dengan sangat baik di sisi lain. Ini mengingatkan saya pada komik xkcd:

http://xkcd.com/386/