Membandingkan 0/10 hingga 0/20

Ketika membahas tingkat pencapaian tugas, apakah ada cara untuk menunjukkan bahwa 0 dari 20 upaya "lebih buruk" daripada 0 dari 10 upaya?

Misalkan kita tahu probabilitas keberhasilan dalam suatu usaha. Dalam hal ini kami menghitung probabilitas 0 dari 10 dan 0 dari 20 kasus.

Namun, dalam hal ini kita pergi sebaliknya. Kami tidak tahu probabilitas, kami memiliki data dan kami mencoba memperkirakan probabilitas.

Semakin banyak kasus yang kita miliki, semakin pasti kita mengenai hasil. Jika saya akan melempar koin dan itu akan menjadi kepala, Anda tidak akan terlalu yakin bahwa itu berkepala dua. Jika saya akan melemparnya 1.000 kali dan itu akan menjadi semua kepala, tidak mungkin itu seimbang.

Ada metode yang dirancang untuk mempertimbangkan jumlah jalan saat memberikan estimasi. Salah satunya adalah aditif smoothing yang dikomentari @abukaj di atas. Dalam penghalusan aditif kami menambahkan sampel pseudo tambahan menjadi pertimbangan. Dalam kasus kami, alih-alih ke jejak yang kami lihat kami menambahkan dua lagi - satu berhasil dan satu gagal.

• Dalam kasus pertama probabilitas yang dihaluskan adalah = ~ 8,3%$\frac{1+0}{10 +1 +1}$$\frac{1}{12}$
• Dalam kasus kedua kita akan mendapatkan = ~ 4,5%$\frac{1+0}{20 +1 +1}$$\frac{1}{22}$

Perhatikan bahwa penghalusan aditif hanya satu metode estimasi. Anda akan mendapatkan hasil berbeda dengan metode berbeda. Bahkan dengan aditif yang dihaluskan sendiri, Anda akan mendapatkan hasil yang berbeda jika Anda menambahkan 4 sampel semu.

Metode lain menggunakan interval kepercayaan seperti yang disarankan @mdewey. Semakin banyak sampel yang kita miliki, semakin pendek interval kepercayaannya. Ukuran interval kepercayaan sebanding dengan akar kuadrat sampel - . Oleh karena itu, menggandakan jumlah sampel akan menyebabkan interval kepercayaan lebih pendek .$\frac{1}{\sqrt{n}}$$\sqrt{2}$

Mean dalam kedua kasus adalah 0. Kami mengambil tingkat kepercayaan 90% (z = 1,645)

• Dalam kasus pertama kita akan mendapatkan 0 + ~ 52%$\frac{1.645}{\sqrt{10}}$
• Dalam kasus kedua kita akan mendapatkan 0 + ~ 36%$\frac{1.645}{\sqrt{20}}$

Dalam hal data hilang, ada ketidakpastian. Asumsi yang Anda buat dan data eksternal yang akan Anda gunakan akan mengubah apa yang akan Anda dapatkan.

Memperluas gagasan memohon interval kepercayaan, ada konsep interval binomial yang tepat.

Distribusi binomial adalah jumlah total keberhasilan dalam uji coba independen yang berakhir dengan 0 (kegagalan) atau 1 (sukses). Probabilitas untuk memperoleh 1 (kesuksesan) secara tradisional dilambangkan , dan komplemennya adalah . Maka hasil probabilitas standar adalah bahwa probabilitas tepat keberhasilan dalam percobaan adalahq = 1 - p k $p$$q=1-p$$k$$n$

$$p_{n,k} = {n \choose k} p^k q^{n-k} = \frac{n!}{k!(n-k)!} p^k q^{n-k}$$

Konsep interval kepercayaan adalah untuk mengikat sekumpulan nilai yang mungkin dari parameter model (di sini, probabilitas keberhasilan ) sehingga kita dapat membuat pernyataan probabilistik (well, frequentist ) tentang apakah nilai parameter sebenarnya berada di dalam interval ini (yaitu , bahwa jika kita mengulangi percobaan probabilistik dengan membuat 10 atau 20 percobaan, dan membangun interval kepercayaan dengan cara yang ditentukan, kita akan mengamati bahwa nilai sebenarnya dari parameter berada di dalam interval 95% dari waktu).$p$

Dalam hal ini, kita dapat memecahkan dalam rumus itu: $p$

$$p_{n,0}=(1-p)^n$$

Jadi, jika kita menginginkan interval 95% satu sisi, kita akan menetapkan untuk memecahkan probabilitas hitung nol yang diamati paling banyak 5%. Untuk , jawabannya adalah (yaitu, paling ekstrim, jika probabilitas keberhasilan dalam setiap percobaan adalah 13,9%, maka probabilitas untuk mengamati nol keberhasilan adalah 5%). Untuk , jawabannya adalah . Jadi dari sampel , kami belajar lebih banyak dari sampel , dalam arti bahwa kami dapat `` mengecualikan '' kisaran bahwa sampel masih menyisakan masuk akal.$p_{n,0}=5\%$$n=20$$[0\%,13.9\%]$$n=10$$[0\%,25.9\%]$$n=20$$n=10$$[13.9\%,25.9\%]$$n=10$

Pendekatan Bayesian

• Biarkan untuk menjadi serangkaian variabel acak IID Bernoulli dengan parameter .$X_i$$i=1,\ldots n$$p$
• Mari kita mewakili ketidakpastian kita dari parameter dengan menganggapnya mengikuti distribusi Beta dengan hyperparameters dan .$p$ $\alpha$$\beta$

Fungsi kemungkinan adalah Bernoulli dan distribusi Beta adalah konjugat sebelum distribusi Bernoulli, maka posterior mengikuti distribusi Beta. Selanjutnya, posterior diparameterisasi dengan:

$$\hat{\alpha} = \alpha + \sum_{i=1}^n X_i \quad \quad \hat{\beta} = \beta + n - \sum_{i=1}^n X_i$$

Karena itu:

$$\begin{align*} \mathrm{E}[p \mid X_1, \ldots, X_n] &= \frac{\hat{\alpha}}{\hat{\alpha} + \hat{\beta}}\\ &= \frac{\alpha + \sum_{i=1}^n X_i }{\alpha + \beta + n} \end{align*}$$

Jadi jika Anda melihat 10 kegagalan, ekspektasi adalah , dan jika Anda melihat 20 kegagalan, ekspektasi Anda terhadap adalah . Semakin banyak kegagalan yang Anda lihat, semakin rendah ekspektasi Anda akan .$p$$\frac{\alpha}{\alpha + \beta + 10}$$p$$\frac{\alpha}{\alpha + \beta + 20}$$p$

Apakah ini argumen yang masuk akal? Itu tergantung pada bagaimana perasaan Anda tentang statistik Bayesian, apakah Anda bersedia memodelkan ketidakpastian pada beberapa parameter menggunakan mekanisme probabilitas. Dan itu tergantung pada seberapa masuk akal pilihan Anda akan prior.$p$