Anda mengamati kepala keluar dari lemparan. Apakah koin itu adil?

Saya ditanya pertanyaan ini dengan dalam sebuah wawancara. Apakah ada jawaban yang "benar"? $(n, k) = (400, 220)$

Asumsikan lemparannya iid dan probabilitas kepala adalah . Distribusi jumlah head dalam 400 kali lemparan harus dekat dengan Normal (200, 10 ^ 2), sehingga 220 head adalah 2 standar deviasi dari rata-rata. Probabilitas mengamati hasil seperti itu (yaitu lebih dari 2 SD dari rata-rata di kedua arah) sedikit kurang dari 5%. $p=0.5$

Pewawancara memberi tahu saya, pada dasarnya, "jika saya mengamati sesuatu> = 2 SD dari nilai rata-rata, saya menyimpulkan bahwa ada sesuatu yang sedang terjadi. Saya berani bertaruh bahwa koin itu adil." Itu masuk akal - setelah semua, itulah yang dilakukan sebagian besar tes hipotesis. Tetapi apakah itu akhir dari cerita? Untuk pewawancara itu sepertinya jawaban yang "benar". Yang saya tanyakan di sini adalah apakah beberapa nuansa dibenarkan.

Saya tidak dapat membantu tetapi menunjukkan bahwa memutuskan bahwa koin itu tidak adil adalah kesimpulan yang aneh dalam konteks lemparan koin ini. Apakah saya benar mengatakan itu? Saya akan coba jelaskan di bawah ini.

Pertama-tama, saya - dan saya akan berasumsi bahwa kebanyakan orang juga - memiliki latar belakang yang kuat tentang koin: mereka sangat mungkin adil. Tentu saja itu tergantung pada apa yang kita maksud dengan adil - satu kemungkinan adalah mendefinisikan "adil" sebagai "memiliki kemungkinan kepala 'mendekati' ke 0,5, katakan antara 0,49 dan 0,51."

(Anda juga dapat mendefinisikan 'adil' sebagai makna bahwa probabilitas kepala tepat 0,50, dalam hal ini memiliki koin yang sangat adil sekarang tampaknya agak tidak mungkin.)

Prioritas Anda tidak hanya bergantung pada kepercayaan umum Anda tentang koin tetapi juga pada konteksnya. Jika Anda mengeluarkan koin dari kantong Anda sendiri, Anda mungkin yakin bahwa itu adil; jika teman pesulap Anda mengeluarkannya, milik Anda sebelumnya mungkin lebih berat pada koin berkepala dua.

Dalam kasus apa pun, mudah untuk membuat prior prior bahwa (i) menempatkan kemungkinan besar pada koin yang adil dan (ii) membuat posterior Anda cukup mirip, bahkan setelah mengamati 220 kepala. Anda kemudian akan menyimpulkan bahwa koin itu sangat mungkin adil, meskipun mengamati hasil 2 SD dari rata-rata.

Bahkan, Anda juga bisa membuat contoh di mana mengamati 220 kepala dalam 400 lemparan membuat posterior Anda memberi bobot lebih pada koin menjadi adil, misalnya jika semua koin tidak adil memiliki kemungkinan kepala dalam . $\{0, 1\}$

Adakah yang bisa menjelaskan ini untukku?

Setelah menulis pertanyaan ini, saya ingat bahwa saya pernah mendengar tentang situasi umum ini sebelumnya - bukankah itu "paradoks" Lindley ?

Whuber menaruh tautan yang sangat menarik di komentar: Anda Dapat Memuat Die, Tapi Anda Tidak Dapat Membiasakan Koin . Dari halaman 3:

Tidak masuk akal untuk mengatakan bahwa koin memiliki probabilitas p kepala, karena koin dapat sepenuhnya ditentukan dengan cara di mana ia dilemparkan — kecuali jika dilemparkan tinggi di udara dengan putaran cepat dan terperangkap di udara dengan no bouncing, dalam hal ini p = 1/2.

Sangat keren! Ini mengikat pertanyaan saya dengan cara yang menarik: misalkan kita tahu bahwa koin itu "dilempar tinggi di udara dengan putaran cepat dan ditangkap di udara tanpa memantul." Maka kita tentu tidak boleh menolak hipotesis bahwa koin itu adil (di mana "adil" sekarang berarti "memiliki p = 1/2 ketika dilemparkan dengan cara yang dijelaskan di atas"), karena kita secara efektif memiliki prior yang menempatkan semua probabilitas pada koin menjadi adil. Mungkin itu membenarkan beberapa tingkat mengapa saya tidak nyaman menolak nol setelah 220 kepala diamati.

— Adrian
sumber

Apakah ada bagian dari pertanyaan Anda yang berubah jika Anda menafsirkan "koin" sebagai metafora untuk beberapa proses biner yang tidak Anda ketahui sebelumnya?

— whuber

@whuber Itu pertanyaan yang bagus. Saya pikir dalam hal ini saya akan jauh lebih bersedia untuk pergi dengan "tolak ketika p <= 0,05", meskipun saya tidak yakin bagaimana membenarkan itu untuk diri saya sendiri.

— Adrian

Masalah lain yang menggangguku adalah bahwa orang yang mengajukan pertanyaan tertarik pada hipotesis bahwa p = 0,50 tepatnya. Tetapi jika Anda berpikir bahwa p didistribusikan secara kontinu, itu akan memiliki probabilitas nol, terlepas dari apa yang Anda amati. Menurut saya, lebih bermakna membuat pernyataan tentang p yang termasuk dalam suatu interval. Ini akan menjadi masalah dalam situasi di mana saya tidak memiliki pengetahuan sebelumnya dan memutuskan untuk menggunakan seragam sebelumnya, misalnya.

— Adrian

Masuk akal. Namun, pertanyaan yang berfokus pada koin agak mengganggu, karena jawaban atas pertanyaan seperti itu biasanya beralih ke diskusi fisika (dan sulap) flipping koin. Anda mungkin akan terkejut betapa berbaliknya situasi yang sebenarnya dapat terjadi dengan prior Anda yang kuat, tergantung pada bagaimana koin dibalik. "Tidak masuk akal untuk mengatakan bahwa koin memiliki probabilitas kepala"

p

$p$ .

— whuber

@Adrian DJC MacKay membahas masalah yang tepat ini (dengan n = 250, k = 140) di buku teks gratisnya di tautan ini: inference.phy.cam.ac.uk/itprnn/book.pdf (p63.) Mungkin menarik untuk baca apa yang dia katakan. Dia mencapai kesimpulan yang sama dengan Anda.

— Flounderer

Jawaban:

Cara Bayesian standar untuk menyelesaikan masalah ini (tanpa perkiraan Normal) adalah dengan menyatakan sebelumnya secara eksplisit, gabungkan dengan kemungkinan Anda, yang didistribusikan secara Beta. Kemudian mengintegrasikan posterior Anda sekitar 50%, katakan dua penyimpangan standar atau dari 49% -51% atau apa pun yang Anda suka.

Jika kepercayaan Anda sebelumnya adalah berkelanjutan pada [0,1] - misalnya Beta (100.100) (yang ini menempatkan banyak massa pada koin yang kira-kira adil) - maka kemungkinan bahwa koin itu adil adalah nol karena kemungkinannya juga berkelanjutan [0 , 1].

Bahkan jika probabilitas bahwa koin itu adil adalah nol, Anda biasanya dapat menjawab pertanyaan apa pun yang akan Anda jawab dengan posterior atas bias. Misalnya, apa tepi kasino yang diberikan distribusi posterior atas probabilitas koin.

— Neil G
sumber

+1, tetapi saya ingin menambahkan sedikit jawaban ini. Misalkan kita mendefinisikan koin yang adil menjadi seperti yang disarankan OP, dan kami ingin menempatkan dari probabilitas kami sebelumnya pada kasus ini. Maka prior yang masuk akal adalah , sehinggaMengingat data dalam pertanyaan, distribusi posterior menjadi dan probabilitas posterior dari koin yang adil masih sangat besar:

0.49 < p < 0.51

$0.49 < p < 0.51$

99 %

$99\%$

p \sim Beta (8300, 8300)

$p \sim \text{Beta}(8300, 8300)$

P (p \in (0.49, 0.51)) = 0.99003.

$P(p \in (0.49, 0.51)) = 0.99003.$

p | data \sim Beta (8300 + 220, 8300 + 180)

$p|\text{data} \sim \text{Beta}(8300+220, 8300+180)$

P (p \in (0.49, 0.51) | data) = 0.9886.

$P(p \in (0.49, 0.51)|\text{data}) = 0.9886.$

— Knrumsey

Katakanlah untuk Distribusi Bernoulli, dalam hal ini lemparan koin.

Jelas ini adalah distribusi binomial , dan memang mendekati . $B(n=400,p=0.5)$ $N(\mu=200,\sigma^2=100)$

Jelas pewawancara meminta hasil dengan interval kepercayaan dengan , atau nilai . $k$ $95\%$ $B(n=400,p=0.5)$ $p$ $B(n=400,p=0.5,k=220)$

Dalam pendekatan Bayesian, prior Anda adalah bahwa bukan dan $p=0.5$ $\pi(p=0.5)=0.5$ $\pi(p\neq0.5)=0.5$

Mari kita gunakan beberapa lainnya yang lebih adil sebelum dan . Kami menganggap memiliki distribusi seragam dalam setiap interval. $\pi(0.49\leq p\leq0.51)=0.9$ $\pi(p<0.49 \cup p>0.51)=0.1$ $p$

Kita kemudian dapat menghitung posterior . $P(0.49\leq p\leq0.51|k=220)$

Atau sangat mungkin yang sebelumnya adalah distribusi normal ~ , atau kita dapat mengasumsikan varians yang jauh lebih kecil seperti . $p$ $N(\mu=0.5,\sigma^2=0.25)$ $\sigma^2=0.1$

Kemudian kita menghitung distribusi posterior sebagai . $p$ $f(p|k=220)$

Reputasi saya tidak cukup bagi saya untuk menulis komentar di bawah Pertanyaan. Sebaliknya saya akan menulis sesuatu di sini mengenai You Can Bias a Coin . @Adrian

Inilah yang kami miliki

Hasil percobaan $B(n=400,k=220,p=\theta)$
Studi teoritis dan percobaan You Can't Bias a Coin

Inilah Hipotesis kami

$H_0:$ Koin itu adil, atau $\hat\theta=0.5$

$H_1$ : Data percobaan salah direkam

Inilah hasil kami

Berdasarkan pada kertas You Can Load a Die, Tapi You Can Bias a Coin , kami menerima hipotesis . $H_0$
Berdasarkan hasil percobaan bahwa perbedaannya adalah dua kali standar deviasi, kami kira-kira memiliki tingkat kepercayaan 95% untuk menerima hipotesis , bahwa studi percobaan dicatat secara salah. $H_1$

Karena nilai untuk pengujian hipotesis untuk menolak atau kira-kira di bawah 5%, kita harus menerima keduanya. Atau kita harus menolak keduanya. $p$ $H_0$ $H_1$

Kalau tidak, kami membuat standar ganda untuk pengujian hipotesis di sini. Kami tidak dapat menerima Hipotesis bahwa lemparan koin itu adil dan data eksperimen dicatat dengan benar .

Tidak masuk akal untuk mengatakan bahwa koin memiliki probabilitas p kepala

Kami memiliki hasil percobaan untuk mendukung hipotesis ini.

Jika percobaan diulangi n kali, mungkinkah kita memiliki prior untuk coin lempar sebagai ketika n sangat besar? $p$ $N(\mu=0.5,\sigma^2)$

Jika itu dapat diterima, kita kemudian dapat memperkirakan dengan 95% CI berdasarkan metode kemungkinan maksimum. $\sigma^s$

— Zhang Tschao
sumber

Zhang terima kasih. Satu nit kecil: jika Anda ingin menggunakan distribusi Normal untuk sebelum Anda di atas probabilitas kepala, saya akan mengatakan Anda harus memotongnya sehingga p terletak pada [0, 1].

— Adrian

Tentu saja ada banyak distribusi yang masuk akal sebelumnya dan posisi yang sesuai. Poin sebenarnya dari pertanyaan saya lebih umum: memutuskan bahwa koin itu tidak adil menurut saya merupakan kesimpulan yang aneh dalam konteks lemparan koin ini. Apa yang Anda pikirkan tentang itu - dan mengapa?

— Adrian

Yang nyaman di sini adalah distribusi Beta, karena ini berkonjugasi dengan kemungkinan Binomial. Tetapi sekali lagi, dorongan sebenarnya dari pertanyaan saya lebih umum daripada yang spesifik sebelumnya.

— Adrian

Saya pikir alasannya adalah bahwa Anda memberikan terlalu banyak probabilitas pada prior . Saya pikir jika Anda mengubah yang sebelumnya, yaitu distribusi yang cukup seragam , dan kami membangun interval kepercayaan 95% untuk , saya pikir kami akan menemukan hasilnya jauh lebih meyakinkan, dengan tidak terletak pada 95% CI dari . Dan kita dengan mudah menerima hipotesis bahwa koin itu tidak adil. Terutama dalam kasus ini, Anda tidak akan menemukan bahwa memutuskan koin itu tidak adil untuk menjadi kesimpulan yang aneh.

π (p = 0.5)

$\pi(p=0.5)$

p \sim U (0, 1)

$p \sim U(0,1)$

E (p) \sim f (p | k = 220)

$E(p) \sim f(p|k=220)$

p = 0.5

$p=0.5$

E (p)

$E(p)$

— Zhang Tschao

@ user777 Distribusi normal muncul dua kali dalam respons Zhang, pertama sebagai perkiraan terhadap binomial (hebat), dan kedua sebagai sebelum untuk probabilitas kepala (ketika ia mengatakan "sebelumnya adalah distribusi normal p ~ N"). Zhang - suntingan Anda tentang Null adalah "koin itu adil dan datanya direkam dengan benar" menarik, terima kasih telah mempostingnya.

— Adrian