Apa yang harus dikatakan kepada klien yang menganggap interval kepercayaan terlalu lebar untuk berguna?

22

Misalkan saya seorang konsultan dan saya ingin menjelaskan kegunaan interval kepercayaan kepada klien saya. Klien mengatakan kepada saya bahwa interval saya terlalu lebar untuk berguna dan dia lebih suka menggunakan yang setengah lebarnya.

Bagaimana saya harus merespons?

confidence-interval interpretation

— student_diversified
sumber

15

menagih mereka untuk mengumpulkan lebih banyak data.

— shabbychef

2

Ini mengingatkan saya pada sebuah makalah yang harus dibaca tentang jenis klien dalam konsultasi statistik.

@Prastrastator Apakah Anda keberatan memposting tautan ke versi PDF dari makalah ini?

— Diasumsikan normal

1

@ Max, sepertinya hanya tersedia melalui JSTOR; memposting PDF akan melanggar ketentuan layanan JSTOR (cukup masuk akal) ...

— Ben Bolker

@shabbychef - seringkali ini adalah cara yang sangat tidak efisien untuk meningkatkan akurasi, terutama jika sampel sudah besar. misalnya, untuk membagi dua lebar ci dari rata-rata ci normal, Anda perlu melipatgandakan ukuran sampel. lebih baik menghabiskan waktu memperbaiki model sebelum Anda pergi dan meningkatkan Anda biaya empat kali lipat terbesar!

— probabilityislogic

16

Itu tergantung pada apa yang klien maksudkan dengan "berguna". Saran klien Anda bahwa Anda menyempitkan interval secara sewenang-wenang tampaknya mencerminkan kesalahpahaman bahwa, dengan mempersempit interval, Anda entah bagaimana secara ajaib menurunkan margin kesalahan. Dengan asumsi kumpulan data telah dikumpulkan dan diperbaiki (jika ini bukan masalahnya, lelucon @ shabbychef dalam komentar memberi Anda jawaban Anda), setiap respons terhadap klien Anda harus menekankan dan menjelaskan mengapa tidak ada "makan siang gratis" dan bahwa Anda sedang mengorbankan sesuatu dengan mempersempit interval.

Secara khusus, karena kumpulan data diperbaiki, satu-satunya cara Anda dapat mengurangi lebar interval kepercayaan adalah dengan mengurangi tingkat kepercayaan. Oleh karena itu, Anda memiliki pilihan antara interval yang lebih luas yang membuat Anda lebih percaya diri berisi nilai parameter sebenarnya atau interval yang lebih sempit yang kurang Anda percayai. Artinya, interval kepercayaan yang lebih luas lebih konservatif. Tentu saja, Anda tidak akan pernah bisa mengoptimalkan lebar atau tingkat kepercayaan diri tanpa berpikir, karena Anda dapat dengan bebas menghasilkan interval kepercayaan dengan membiarkannya menjangkau seluruh ruang parameter dan bisa mendapatkan interval kepercayaan yang sangat sempit, meskipun akan memiliki cakupan . $100 \%$ $0 \%$

Apakah interval yang kurang konservatif lebih bermanfaat atau tidak, jelas tergantung pada konteks dan bagaimana lebar interval bervariasi sebagai fungsi dari tingkat kepercayaan, tapi saya mengalami kesulitan membayangkan aplikasi di mana menggunakan tingkat kepercayaan yang jauh lebih rendah untuk mendapatkan interval yang lebih sempit akan lebih disukai. Juga, ada baiknya menunjukkan bahwa interval kepercayaan telah menjadi sangat umum sehingga akan sulit untuk membenarkan mengapa Anda, misalnya, menggunakan interval kepercayaan . $95 \%$ $60\%$

— Makro
sumber

6

Anda tidak bisa begitu saja mengecilkan interval kepercayaan tanpa menyerah, tetapi ada sedikit fleksibilitas yang analog dengan perbedaan antara tes satu sisi dan tes dua sisi. Selain itu, ada kemungkinan bahwa model yang lebih baik dari data yang sama akan menghasilkan interval kepercayaan yang berbeda (dan mungkin lebih kecil).

— Douglas Zare

3

Saya pikir Anda menjual bagian terakhir hanya sedikit pendek. Di mana-mana CI 95 % adalah fenomena budaya. Dalam beberapa konteks, nilai-nilai lain adalah umum, misalnya ketika merencanakan, bar kesalahan sering merupakan kesalahan standar (yaitu 68% CI), karena saya yakin Anda terbiasa. (+1, btw)

— gung - Reinstate Monica

2

Dalam semangat jawaban ini baik tetapi saya pikir paragraf kedua terlalu membatasi. Satu manfaat besar yang dibawa oleh ahli statistik ke pesta ini adalah pengetahuan tentang prosedur alternatif yang dapat lebih memenuhi kebutuhan klien. Dalam banyak kasus seseorang dapat mempersempit lebar CI dengan memilih prosedur CI yang berbeda. Ini tidak memerlukan pengumpulan data lebih banyak (-1 hingga @shabbychef, saya khawatir) atau menurunkan tingkat kepercayaan. Bagian yang sangat sulit adalah menafsirkan CI di mana prosedur dipilih pasca hoc. Itu sebabnya kami ingin melakukan percakapan ini sebelum menganalisis (atau bahkan mengumpulkan) data!

— Whuber

7

Saya bereaksi terhadap ini, Makro, karena dalam praktiknya tidak berfungsi dengan baik sehingga tidak fleksibel. Risikonya adalah bahwa klien akan mengabaikan saran Anda dan meminta bantuan dari seseorang yang tidak tahu lebih baik (tetapi mengklaim keahlian yang memadai dalam statistik). Skenario OP adalah skenario yang lazim dan umum: paling baik dilihat sebagai kesempatan untuk memberi informasi dan mendidik klien serta menawarkan alternatif kepada mereka (bersama dengan diskusi jujur tentang pro dan kontra mereka). Kita perlu mengatakan "ya, CI dapat dibuat lebih kecil, tetapi di sini ada beberapa konsekuensi dari melakukan itu" daripada "tidak, Anda kacau."

— whuber

2

Itu poin bagus @whuber (+1) dalam situasi di mana alternatif yang lebih efisien mungkin tersedia - alasan lain untuk berkonsultasi dengan ahli statistik sebelum mengumpulkan / menganalisis data.

— Makro

2

Saya akan menyarankan itu sepenuhnya tergantung pada apa klien Anda ingin menggunakan interval kepercayaan untuk.

Semacam laporan / publikasi / dll. di mana 95% CI biasanya dilaporkan. Saya mungkin sangat baik mengatakan kepadanya "Itu tidak dibenarkan secara statistik" dan meninggalkannya di sana, tergantung pada apakah klien cenderung tunduk pada keahlian Anda. Jika tidak, Anda harus menilai kenyamanan profesional Anda sendiri dengan apa yang mereka inginkan.
Semacam dokumen internal - Saya akan menjelaskan Anda tidak setuju, dan menjelaskan jenis interval kepercayaan apa yang sekarang dilihat pembaca, karena itu tidak 95%.
Sebagai ukuran estimasi ketidakpastian, katakan untuk menentukan berapa banyak analisis sensitivitas yang mungkin harus dilakukan? Saya akan memberi mereka angka yang menunjukkan distribusi penuh dengan CI 95% dan sesuatu seperti 68% CI ditandai dan biarkan mereka memilikinya.

Saya akan sangat bangga pada diri saya jika saya berhasil menjaga "Jadi jalankan studi yang lebih besar" agar tidak menjadi hal pertama yang keluar dari mulut saya.

— Fomite
sumber

1

+1. Saya pikir komentar yang Anda buat di bawah (2) mungkin akan relevan dalam situasi yang dijelaskan oleh (1) juga.

— Makro

0

Gunakan Deviasi Standar, seperti yang dilakukan kebanyakan orang. 95% CI bisa menakutkan ketika orang terbiasa dengan 68% CI.

— Geoph Twombly
sumber

4

Kedengarannya bagi saya bahwa dalam kasus ini kami hanya tertarik untuk menunjukkan keakuratan, katakanlah, mean sampel, bukan variabilitas nilai-nilai individual. Mengapa Anda merekomendasikan deviasi standar , khususnya?

— chl

Fisher awalnya menyarankan 95% CI sebagai perkiraan untuk 2 standar deviasi.

— Patrick Caldon

1

@ Patrick, sepertinya Anda melewatkan poin chl (dan juga salah mewakili Fisher, yang tidak membuat kesalahan seperti itu) atau Anda menulis "standar deviasi" di mana Anda bermaksud " kesalahan standar ". Sebagian besar CI didasarkan pada kesalahan standar, tentu saja, bukan penyimpangan standar. 2 SD tidak mendekati CI atau sebaliknya.

— whuber

Tentu saja, kesalahan standar hanyalah standar deviasi dari rata-rata, jadi itu hanya terminologi. Yaitu, mengatakan bahwa CI tidak didasarkan pada standar deviasi tidak benar. Mereka tidak didasarkan pada standar deviasi sampel, tetapi pada standar deviasi rata-rata.

— Aaron - Pasang kembali Monica

2

Tidak semua perkiraan berarti. Ada kesalahan standar untuk estimasi selain sarana dan itu adalah kesalahan standar estimasi yang digunakan untuk menghasilkan interval kepercayaan untuk parameter berdasarkan variabilitas estimasi seperti yang disarankan whuber.

— Michael R. Chernick

0

Anda memberikan interval kepercayaan pada level standar tertentu seperti 90% atau 95%. Klien dapat menilai apakah interval terlalu lebar untuk berguna. Tetapi tentu saja itu tidak berarti bahwa Anda dapat mempersingkatnya agar bermanfaat. Anda dapat menyarankan bahwa meningkatkan ukuran sampel akan mengurangi lebar interval pada tingkat kepercayaan tertentu karena berkurang secara kasar oleh faktor akar kuadrat dari ukuran sampel.

— Michael R. Chernick
sumber