Menggabungkan probabilitas / informasi dari berbagai sumber

Katakanlah saya memiliki tiga sumber independen dan masing-masing membuat prediksi untuk cuaca besok. Yang pertama mengatakan bahwa probabilitas hujan besok adalah 0, kemudian yang kedua mengatakan bahwa probabilitasnya adalah 1, dan akhirnya yang terakhir mengatakan bahwa probabilitasnya adalah 50%. Saya ingin mengetahui probabilitas total yang diberikan informasi itu.

Jika menerapkan teorema perkalian untuk peristiwa independen saya mendapatkan 0, yang tampaknya tidak benar. Mengapa tidak mungkin untuk melipatgandakan ketiganya jika semua sumber independen? Apakah ada cara Bayesian untuk memperbarui sebelumnya ketika saya mendapatkan informasi baru?

Catatan: Ini bukan pekerjaan rumah, adalah sesuatu yang saya pikirkan.

Anda bertanya tentang tiga hal: (a) bagaimana menggabungkan beberapa ramalan untuk mendapatkan ramalan tunggal, (b) jika pendekatan Bayesian dapat digunakan di sini, dan (c) bagaimana menangani probabilitas nol.

Menggabungkan ramalan, adalah praktik umum . Jika Anda memiliki beberapa prakiraan daripada jika Anda mengambil rata-rata dari prakiraan tersebut, prakiraan gabungan yang dihasilkan harus lebih baik dalam hal akurasi daripada prakiraan individual mana pun. Untuk membuat rata-rata, Anda dapat menggunakan rata-rata tertimbang di mana bobot didasarkan pada kesalahan terbalik (yaitu presisi), atau konten informasi . Jika Anda memiliki pengetahuan tentang keandalan setiap sumber, Anda dapat menetapkan bobot yang sebanding dengan keandalan masing-masing sumber, sehingga sumber yang lebih andal memiliki dampak yang lebih besar pada perkiraan gabungan akhir. Dalam kasus Anda, Anda tidak memiliki pengetahuan tentang keandalannya sehingga masing-masing perkiraan memiliki bobot yang sama sehingga Anda dapat menggunakan rata-rata aritmatika sederhana dari ketiga perkiraan tersebut.

$$0\%\times.33+50\%\times.33+100\%\times.33 = (0\%+50\%+100\%)/3=50\%$$

Seperti yang disarankan dalam komentar oleh @AndyW dan @ArthurB. , metode lain selain rata-rata tertimbang sederhana tersedia. Banyak metode seperti itu dijelaskan dalam literatur tentang rata-rata perkiraan pakar, yang saya tidak kenal sebelumnya, jadi terima kasih kawan. Dalam rata-rata perkiraan pakar terkadang kita ingin mengoreksi fakta bahwa para pakar cenderung mundur ke rata-rata (Baron et al, 2013), atau membuat perkiraan mereka lebih ekstrem (Ariely et al, 2000; Erev et al, 1994). Untuk mencapai yang ini bisa menggunakan transformasi perkiraan individu , misalnya fungsi logit$p_i$

$$\mathrm{logit}(p_i) = \log\left( \frac{p_i}{1-p_i} \right) \tag{1}$$

peluang ke kekuatan th$a$

$$g(p_i) = \left( \frac{p_i}{1-p_i} \right)^a \tag{2}$$

di mana , atau lebih umum transformasi bentuk$0 < a < 1$

$$t(p_i) = \frac{p_i^a}{p_i^a + (1-p_i)^a} \tag{3}$$

di mana jika tidak ada transformasi diterapkan, jika ramalan individu dibuat lebih ekstrim, jika ramalan dibuat kurang ekstrim, apa yang ditunjukkan pada gambar di bawah ini (lihat Karmarkar, 1978; Baron et al, 2013 ).a > $a=1$$a>1$$0 < a<1$

Setelah prakiraan transformasi tersebut dirata-rata (menggunakan rata-rata aritmatika, median, rata-rata tertimbang, atau metode lain). Jika persamaan (1) atau (2) digunakan hasil perlu ditransformasikan kembali menggunakan inverse logit untuk (1) dan odds terbalik untuk (2). Atau, rata - rata geometrik dapat digunakan (lihat Genest dan Zidek, 1986; lih. Dietrich and List, 2014)

$$\hat p = \frac{ \prod_{i=1}^N p_i^{w_i} }{ \prod_{i=1}^N p_i^{w_i} + \prod_{i=1}^N (1 - p_i)^{w_i} } \tag{4}$$

atau pendekatan yang diusulkan oleh Satopää et al (2014)

$$\hat p = \frac{ \left[ \prod_{i=1}^N \left(\frac{p_i}{1-p_i} \right)^{w_i} \right]^a }{ 1 + \left[ \prod_{i=1}^N \left(\frac{p_i}{1-p_i} \right)^{w_i} \right]^a } \tag{5}$$

di mana adalah bobot. Dalam kebanyakan kasus, bobot yang sama digunakan kecuali jika ada informasi apriori yang menyarankan pilihan lain. Metode tersebut digunakan dalam rata-rata perkiraan pakar sehingga untuk mengoreksi kurang percaya diri atau terlalu. Dalam kasus lain, Anda harus mempertimbangkan apakah mentransformasikan ramalan menjadi lebih, atau kurang ekstrim dibenarkan karena dapat membuat perkiraan agregat jatuh dari batas yang ditandai oleh ramalan individu terendah dan terbesar.$w_i$$w_i = 1/N$

Jika Anda memiliki pengetahuan apriori tentang probabilitas hujan, Anda dapat menerapkan teorema Bayes untuk memperbarui ramalan mengingat probabilitas apriori hujan dengan cara yang sama seperti yang dijelaskan di sini . Ada juga pendekatan sederhana yang dapat diterapkan, yaitu menghitung rata-rata tertimbang perkiraan Anda (seperti dijelaskan di atas) di mana probabilitas diperlakukan sebagai titik data tambahan dengan beberapa bobot yang ditentukan sebelumnya seperti dalam contoh IMDB ini ( lihat juga sumber , atau di sini dan di sini untuk diskusi; lih. Genest dan Schervish, 1985), yaitu$p_i$$\pi$$w_{\pi}$

$$\hat p = \frac{ \left(\sum_{i=1}^N p_i w_i \right) + \pi w_{\pi} }{ \left(\sum_{i=1}^N w_i \right) + w_{\pi} } \tag{6}$$

Namun dari pertanyaan Anda tidak berarti bahwa Anda memiliki pengetahuan apriori tentang masalah Anda sehingga Anda mungkin akan menggunakan seragam sebelumnya, mis. Anggap peluang priori hujan dan ini tidak benar-benar berubah banyak dalam hal contoh yang Anda berikan .$50\%$

Untuk menangani nol, ada beberapa pendekatan berbeda yang mungkin. Pertama, Anda harus memperhatikan bahwa peluang hujan bukanlah nilai yang benar-benar andal, karena dikatakan tidak mungkin hujan. Masalah serupa sering terjadi dalam pemrosesan bahasa alami ketika dalam data Anda, Anda tidak mengamati beberapa nilai yang mungkin dapat terjadi (misalnya Anda menghitung frekuensi huruf dan dalam data Anda beberapa huruf yang tidak biasa tidak terjadi sama sekali). Dalam hal ini penduga klasik untuk probabilitas, yaitu$0\%$

$$p_i = \frac{n_i}{\sum_i n_i}$$

di mana adalah sejumlah kemunculan nilai ke- (di luar kategori ), memberi Anda jika . Ini disebut masalah frekuensi nol . Untuk nilai seperti itu, Anda tahu bahwa probabilitasnya bukan nol (ada!), Jadi perkiraan ini jelas salah. Ada juga kekhawatiran praktis: mengalikan dan membaginya dengan nol mengarah ke nol atau hasil yang tidak ditentukan, sehingga nol bermasalah dalam berurusan dengan. i d p i$n_i$$i$$d$n i = $p_i = 0$$n_i = 0$

Perbaikan yang mudah dan umum diterapkan adalah, untuk menambahkan beberapa konstanta ke hitungan Anda, sehingga$\beta$

$$p_i = \frac{n_i + \beta}{(\sum_i n_i) + d\beta}$$

Pilihan umum untuk adalah , yaitu menerapkan seragam sebelumnya berdasarkan aturan suksesi Laplace , untuk estimasi Krichevsky-Trofimov, atau untuk estimator Schurmann-Grassberger (1996). Namun perhatikan bahwa apa yang Anda lakukan di sini adalah Anda menerapkan informasi out-of-data (prior) dalam model Anda, sehingga mendapat rasa subjektif, Bayesian. Dengan menggunakan pendekatan ini, Anda harus mengingat asumsi yang Anda buat dan mempertimbangkannya. Fakta bahwa kami memiliki pengetahuan apriori yang kuat bahwa seharusnya tidak ada nol probabilitas dalam data kami secara langsung membenarkan pendekatan Bayesian di sini. Dalam kasus Anda, Anda tidak memiliki frekuensi tetapi probabilitas, jadi Anda akan menambahkan beberapa1 1 / 2 1 /$\beta$$1$$1/2$$1/d$nilai yang sangat kecil sehingga untuk mengoreksi nol. Namun perhatikan bahwa dalam beberapa kasus pendekatan ini mungkin memiliki konsekuensi buruk (misalnya ketika berhadapan dengan log ) sehingga harus digunakan dengan hati-hati.

---

Schurmann, T., dan P. Grassberger. (1996). Estimasi Entropy dari urutan simbol. Kekacauan, 6, 41-427.

Ariely, D., Au Tung, W., Bender, RH, Budescu, DV, Dietz, CB, Gu, H., Wallsten, TS dan Zauberman, G. (2000). Efek dari rata-rata estimasi probabilitas subyektif antara dan di dalam hakim. Jurnal Psikologi Eksperimental: Terapan, 6 (2), 130.

Baron, J., Mellers, BA, Tetlock, PE, Stone, E. and Ungar, LH (2014). Dua alasan untuk membuat perkiraan probabilitas teragregasi menjadi lebih ekstrem. Analisis Keputusan, 11 (2), 133-145.

Erev, I., Wallsten, TS, dan Budescu, DV (1994). Over-and simultan dan kurang percaya diri: Peran kesalahan dalam proses penilaian. Ulasan psikologis, 101 (3), 519.

Karmarkar, US (1978). Utilitas berbobot subyektif: Perpanjangan deskriptif dari model utilitas yang diharapkan. Perilaku organisasi dan kinerja manusia, 21 (1), 61-72.

Turner, BM, Steyvers, M., Merkle, EC, Budescu, DV, dan Wallsten, TS (2014). Perkiraan agregasi melalui kalibrasi ulang. Pembelajaran mesin, 95 (3), 261-289.

Genest, C., dan Zidek, JV (1986). Menggabungkan distribusi probabilitas: kritik dan bibliografi beranotasi. Ilmu Statistik, 1 , 114–135.

Satopää, VA, Baron, J., Foster, DP, Mellers, BA, Tetlock, PE, dan Ungar, LH (2014). Menggabungkan beberapa prediksi probabilitas menggunakan model logit sederhana. International Journal of Forecasting, 30 (2), 344-356.

Genest, C., dan Schervish, MJ (1985). Pemodelan penilaian ahli untuk pembaruan Bayesian. The Annals of Statistics , 1198-1212.

Dietrich, F., dan List, C. (2014). Pendapat Opini Probabilistik. (Tidak diterbitkan)

Ada dua cara untuk memikirkan masalahnya. Salah satunya adalah mengatakan bahwa sumber mengamati versi berisik dari variabel laten "itu akan hujan / tidak akan hujan".

Sebagai contoh, kita dapat mengatakan bahwa setiap sumber mengambil estimasi dari distribusi jika akan turun hujan, dan distribusi jika tidak.B e $Beta(a+b,a)$$Beta(a,a+b)$

Dalam hal ini, parameter turun dan tiga perkiraan, , , dan akan digabungkan sebagai$a$$x$$y$$z$

$$p = \frac{1}{1+\left(\frac{1}{x}-1\right)^b\left(\frac{1}{y}-1\right)^b\left(\frac{1}{z}-1\right)^b}$$

b > 1 b < 1 b = $b$ adalah parameter yang mengontrol seberapa dalam ( ) atau lebih ( ) yakin sumbernya. Jika kita mengasumsikan bahwa estimasi sumber tidak bias, maka dan estimasi disederhanakan sebagai$b>1$$b<1$$b = 1$

$$\frac{p}{1-p} = \frac{x}{1-x} \frac{y}{1-y} \frac{z}{1-z}$$

Yang hanya mengatakan: peluang hujan adalah produk dari peluang yang diberikan oleh masing-masing sumber. Perhatikan bahwa itu tidak didefinisikan dengan baik jika sumber memberikan perkiraan tepat dan yang lain memberikan perkiraan tepat , tetapi di bawah model kami, ini tidak pernah terjadi, sumber tidak pernah begitu percaya diri. Tentu saja kita dapat menambal model untuk memungkinkan ini terjadi.$1$$0$

Model ini berfungsi lebih baik jika Anda memikirkan tiga orang yang mengatakan kepada Anda apakah hujan turun kemarin atau tidak. Dalam praktiknya, kita tahu bahwa ada komponen acak yang tidak dapat direduksi dalam cuaca, dan karenanya mungkin lebih baik untuk mengasumsikan bahwa alam pertama-tama mengambil kemungkinan hujan, yang secara diam-diam diamati oleh sumbernya, dan kemudian membalik sebuah koin bias untuk memutuskan apakah atau tidak akan turun hujan.

Dalam hal itu, estimasi gabungan akan terlihat lebih seperti rata-rata di antara estimasi yang berbeda.

Dalam kerangka Transferable Belief Model (TBM) , dimungkinkan untuk menggabungkan berbagai prediksi menggunakan misalnya "aturan kombinasi konjungtif". Untuk menerapkan aturan ini, Anda perlu mengubah probabilitas prediksi menjadi penugasan keyakinan dasar. Ini dapat dicapai dengan apa yang disebut Prinsip Terkecil-Terkecil. Dalam R:

library(ibelief)
#probabilities
p1 <- c(0.99, 0.01) # bad results for 0 and 1
p2 <- c(0.01, 0.99)
p3 <- c(0.5, 0.5)

# basic belief assignment, 
# each row represents a subset of (rain, not rain)
# each column represents one prediction
Mat <- LCPrincple(rbind(p1,p2,p3))

# combine beliefs
m <- DST(Mat, 1)

# resulting probability distribution (pignistic probability)
mtobetp(m)
# returns 0.5 and 0.5

Untuk contoh kedua dari tiga prediksi independen 0,75, pendekatan ini mengembalikan nilai yang lebih tinggi:

p4 <- c(0.75, 0.25)
Mat <- LCPrincple(rbind(p4,p4,p4))
m <- DST(Mat, 1)
mtobetp(m)
#returns 0.9375 0.0625

Ini tidak jauh dari pendekatan Bayesian yang ditunjukkan dalam jawaban Arthur B.

$$w_1 = {{\sigma_2^2 \sigma_3^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}},\ w_2 = {{\sigma_1^2 \sigma_3^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}},\ w_3 ={{\sigma_1^2 \sigma_2^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}}.$$

$\frac{1}{3}$

$\sigma_i$$\sigma_1^2 : \sigma_2^2 : \sigma_3^2 = 1:2:4,$

$$f = { {{8} \over {14}}*(0) + {{4} \over {14}}*(1) + {{2} \over {14}}*(0.5) } = 0.3571$$

Jumlah mereka untuk kemungkinan hujan hanya setengah dari cerita, karena kami harus meredam prediksi mereka dengan kemungkinan bahwa mereka akurat ketika membuat perkiraan.

Karena sesuatu seperti hujan adalah saling eksklusif (hujan atau tidak, dalam pengaturan ini), mereka tidak dapat secara bersamaan semuanya benar dengan probabilitas 75% seperti yang disarankan Karsten (saya pikir, sulit untuk mengatakan dengan kebingungan saya mendengar tentang apa artinya) untuk menemukan "probabilitas gabungan").

Mempertimbangkan kemampuan masing-masing untuk memprediksi cuaca, kita dapat mengambil bacokan (ala Thomas Bayes, seperti dalam tembakan buta pada umumnya) pada kemungkinan hujan besok.

Stasiun 1 benar dalam prediksi mereka 60% dari waktu, 30% kedua dari waktu, dan stasiun terakhir buruk 10% dari waktu.

E [hujan] = Px X + Py Y + Pz * Z adalah bentuk yang kita cari di sini:

(.6) (0) + (. 3) (1) + (. 1) (. 5) = E [hujan] = 35% kemungkinan hujan dengan akurasi prediksi yang dibuat-buat.

Ada banyak jawaban rumit yang diberikan untuk pertanyaan ini, tetapi bagaimana dengan Invers Variance Weighted Mean: https://en.wikipedia.org/wiki/Inverse-variance_weighting

Alih-alih n pengukuran berulang dengan satu instrumen, jika eksperimen membuat n dari jumlah yang sama dengan n instrumen berbeda dengan kualitas pengukuran yang bervariasi ...

Setiap variabel acak ditimbang dalam proporsi terbalik dengan variansnya.

Rata-rata tertimbang varian terbalik tampaknya sangat mudah untuk menghitung dan sebagai bonus memiliki varian terkecil di antara semua rata-rata tertimbang.

Untuk menggabungkan reliabilitas, rumus masuk ke r1xr2xr3 ÷ (r1xr2xr3 + (1-r1) x (1-r2) x (1-r3). Jadi untuk 3 sumber keandalan 75% semuanya mengatakan hal yang sama, saya ingin .75 ^ 3 ÷ (.75 ​​^ 3 + .25 ^ 3) => keandalan 96% dari respons gabungan