Mengapa distribusi probabilitas berlipat ganda di sini?

Misalkan adalah jumlah hari Anda yang tersisa untuk hidup. Dokter 1 mengevaluasi distribusi sebagai Gaussian: . Dokter independen lain 2 mengevaluasi . Kedua dokter sama-sama andal. Bagaimana cara menggabungkan kedua informasi tersebut? $X$ $X$ $P(X)\sim\mathcal{N}(\mu_1,\sigma_1)$ $P(X)\sim\mathcal{N}(\mu_2,\sigma_2)$

Dalam artikel blog ini , penulis mengatakan itu

Jika kita memiliki dua probabilitas dan kita ingin tahu peluang bahwa keduanya benar, kita hanya mengalikannya. Jadi, kami mengambil dua gumpalan Gaussian dan mengalikannya:

Sunting Kebanyakan orang (saya pertama kali menanyakan pertanyaan ini pada math.SE) telah menjawab bahwa ini adalah hubungan independensi sepele tetapi saya masih kesulitan memahami apa yang akan dan berada dalam konteks ini: mungkin bukan peristiwa seperti "dadu akan memberikan 3" atau "pasien sakit". Juga, mungkin ada sesuatu yang lebih, karena produk dari dua densitas bukan kepadatan probabilitas karena secara umum . Jadi mungkin tidak sesederhana itu. $P(A\cap B)=P(A)P(B)$ $A$ $B$ $\int_\mathbb{R} P(x)^2 \neq 1$

Mari kita ambil contoh lain. Seorang pakar 1 memberi tahu Anda bahwa dadu seimbang sempurna. Pakar lain 2 memberi tahu Anda, secara independen sama. Maka probabilitas dadu memberi angka 3 tentu bukan . $1/6^2$

probability normal-distribution

— dan dipahami
sumber

Operasi-operasi ini dilakukan berdasarkan kemungkinan daripada probabilitas. Meskipun perbedaannya mungkin halus, Anda mengidentifikasi aspek krusial darinya: produk dari dua kepadatan tidak pernah menjadi kepadatan.

Bahasa di blog mengisyaratkan ini - tetapi pada saat yang sama membuatnya salah - jadi mari kita menganalisisnya:

Rata-rata distribusi ini adalah konfigurasi yang kemungkinan besar kedua perkiraannya, dan karenanya merupakan tebakan terbaik dari konfigurasi sebenarnya mengingat semua informasi yang kami miliki.

Kami telah mengamati bahwa produk tersebut bukan distribusi. (Meskipun bisa diubah menjadi satu melalui perkalian dengan nomor yang sesuai, bukan itu yang terjadi di sini.)
Kata-kata "perkiraan" dan "tebakan terbaik" menunjukkan bahwa mesin ini digunakan untuk memperkirakan parameter - dalam hal ini, "konfigurasi sebenarnya" (koordinat x, y).
Sayangnya, rata-rata adalah tidak perkiraan terbaik. The modus ini. Ini adalah Prinsip Maximum Likelihood (ML).

Agar penjelasan blog masuk akal, kita harus menganggap yang berikut ini. Pertama, ada lokasi yang benar dan pasti. Sebut saja secara abstrak . Kedua, setiap "sensor" tidak melaporkan . Sebaliknya itu melaporkan nilai yang mungkin dekat dengan . Sensor "Gaussian" memberikan kepadatan probabilitas untuk distribusi . Agar sangat jelas, kepadatan untuk sensor adalah fungsi , tergantung pada , dengan properti yang untuk setiap wilayah (dalam pesawat), kemungkinan sensor akan melaporkan nilai dalam adalah $\mu$ $\mu$ $X_i$ $\mu$ $X_i$ $i$ $f_i$ $\mu$ $\mathcal{R}$ $\mathcal{R}$

Pr (X_{i} \in R) = \int_{R} f_{i} (x; μ) d x .

$\Pr(X_i \in \mathcal{R}) = \int_{\mathcal{R}} f_i(x;\mu) dx.$

Ketiga, kedua sensor diasumsikan beroperasi dengan kemandirian fisik , yang diambil untuk menyiratkan kemandirian statistik .

Menurut definisi, kemungkinan dari dua pengamatan adalah kepadatan probabilitas yang akan mereka miliki di bawah distribusi bersama ini, mengingat lokasi sebenarnya adalah . Asumsi independensi menyiratkan bahwa itu adalah produk dari kepadatan. Untuk memperjelas titik halus, $x_1, x_2$ $\mu$

Fungsi produk yang ditunjuk untuk observasi adalah tidak kepadatan probabilitas untuk ; namun, $f_1(x;\mu)f_2(x;\mu)$ $x$ $x$
Produk adalah densitas gabungan untuk pasangan yang dipesan . $f_1(x_1;\mu)f_2(x_2;\mu)$ $(x_1, x_2)$

Dalam gambar yang diposting, adalah pusat dari satu gumpalan, adalah pusat dari yang lain, dan titik-titik dalam ruangnya mewakili nilai yang mungkin dari . Perhatikan bahwa baik maupun tidak bermaksud mengatakan apa pun tentang probabilitas ! hanyalah nilai tetap yang tidak diketahui . Itu bukan variabel acak. $x_1$ $x_2$ $\mu$ $f_1$ $f_2$ $\mu$ $\mu$

Berikut ini adalah sentuhan halus lainnya: kemungkinan dianggap sebagai fungsi . Kami memiliki data - kami berada hanya mencoba untuk mencari tahu apa mungkin akan. Jadi, apa yang kita perlu rencanakan adalah fungsi kemungkinan $\mu$ $\mu$

Λ (μ) = f_{1} (x_{1}; μ) f_{2} (x_{2}; μ) .

$\Lambda(\mu) = f_1(x_1;\mu)f_2(x_2;\mu).$

Ini adalah kebetulan tunggal bahwa ini juga kebetulan seorang Gaussian! Demonstrasi terbuka. Mari kita lakukan perhitungan matematika hanya dalam satu dimensi (bukan dua atau lebih) untuk melihat polanya - semuanya digeneralisasikan ke lebih banyak dimensi. Logaritma seorang Gaussian memiliki bentuk

\log f_{i} (x_{i}; μ) = A_{i} - B_{i} (x_{i} - μ)^{2}

$\log f_i(x_i;\mu) = A_i - B_i(x_i-\mu)^2$

untuk konstanta dan . Jadi kemungkinan log adalah $A_i$ $B_i$

\begin{aligned} \log Λ (μ) & = A_{1} - B_{1} (x_{1} - μ)^{2} + A_{2} - B_{2} (x_{2} - μ)^{2} \\ = C - (B_{1} + B_{2}) {(μ - \frac{B_{1} x_{1} + B_{2} x_{2}}{B_{1} + B_{2}})}^{2} \end{aligned}

$\eqalign{ \log \Lambda(\mu) &= A_1 - B_1(x_1-\mu)^2 + A_2 - B_2(x_2-\mu)^2 \\ &= C - (B_1+B_2)\left(\mu - \frac{B_1x_1+B_2x_2}{B_1+B_2}\right)^2 }$

di mana tidak bergantung pada . Ini adalah log dari Gaussian di mana peran telah digantikan oleh rata-rata tertimbang yang ditunjukkan pada fraksi. $C$ $\mu$ $x_i$

Mari kita kembali ke utas utama. Perkiraan ML adalah nilai yang memaksimalkan kemungkinan. Secara setara, ini memaksimalkan Gaussian yang baru saja kita peroleh dari produk Gaussians. Menurut definisi, maksimum adalah mode . Ini adalah kebetulan - yang dihasilkan dari titik simetri dari masing-masing Gaussian di sekitar pusatnya - bahwa mode terjadi bertepatan dengan mean. $\mu$

Analisis ini telah mengungkapkan bahwa beberapa kebetulan dalam situasi tertentu telah mengaburkan konsep yang mendasarinya:

distribusi multivariat (gabungan) dengan mudah dikacaukan dengan distribusi univariat (yang bukan);
kemungkinannya tampak seperti distribusi probabilitas (yang bukan);
produk dari Gaussians adalah Gaussian (keteraturan yang umumnya tidak benar ketika sensor bervariasi dalam cara non-Gaussian);
dan mode mereka terjadi bertepatan dengan rata-rata mereka (yang dijamin hanya untuk sensor dengan respons simetris di sekitar nilai sebenarnya).

Hanya dengan berfokus pada konsep-konsep ini dan melepaskan perilaku-perilaku kebetulan kita dapat melihat apa yang sebenarnya terjadi.

— whuber
sumber

Terima kasih banyak atas jawaban yang luar biasa ini. Tampaknya pertanyaannya tidak sesederhana kelihatannya. Saya benar-benar bertanya-tanya mengapa sangat sulit bagi saya untuk memahami konsep kemandirian yang saya pikir saya ketahui dengan baik. Saya akan meluangkan waktu untuk memastikan setiap poin jelas.

— anderstood

Hadiah virtual +150. Saat Anda menulis "produk dari dua densitas tidak pernah merupakan densitas", bagaimana dengan densitas seragam pada , atau densitas yang dikumpulkan dalam 0? Bukankah (bahkan) lebih baik mengatakan " secara umum bukan kepadatan"?

[0, 1]

$[0,1]$

— anderstood

Kamu benar. Saya memikirkan sebuah ketidaksetaraan yang bisa menjadi kesetaraan ketika semua nilai kerapatan adalah nol, satu, atau tak terbatas. Contoh tandingan Anda semuanya dari tipe itu.

— whuber

Saya sudah melihat jawaban yang bagus tapi saya hanya memposting milik saya karena saya sudah mulai menulisnya.

Dokter 1 memiliki model prediksi ini: $d_1\sim N(\mu_1, \sigma_1)$

Dokter 2 memiliki model prediksi ini: $d_2\sim N(\mu_2, \sigma_2)$

Jadi, agar kita dapat mengevaluasi probabilitas gabungan kita hanya perlu menyadari bahwa ini menjadi faktor dalam karena karena independensi kedua dokter. $P(d_1,d_2)=P(d_1|d_2)P(d_2)$ $P(d_1)P(d_2)$ $P(d_1|d_2)=P(d_1)$

— Mike
sumber

Virtual +1 untuk detail yang rapi. Sayang sekali sistem tidak mengizinkan saya memberi Anda +1 asli.

— Keberuntungan

Bagaimana Anda mendefinisikan sebagai suatu peristiwa? Misalnya "dadu memberi angka 3" adalah sebuah peristiwa, demikian pula "menangkan lebih dari 100". Di sini saya tidak dapat memformulasikannya sedemikian rupa, karena tidak memiliki pfd, ini adalah pfd. Misalnya saya dapat menghitung probabilitas bahwa saya memiliki hari untuk hidup menurut dokter 1, tetapi berapa probabilitas ?

d_{1}

$d_1$

d_{1}

$d_1$

x

$x$

d_{1}

$d_1$

— anderstood

Mungkin saya bingung karena saya mengerti sebagai suatu peristiwa, sementara itu adalah variabel acak. Kemudian, adalah variabel acak yang menggambarkan jumlah hari tersisa menurut Dokter 1. Tetapi apa arti probabilitas gabungan dari dan apakah itu bilangan real dalam ? Bagaimana jika mengambil nilai "3 hari" dan mengambil nilai "4 hari"? Saya harap pertanyaan saya akan membantu Anda melakukan apa yang saya lewatkan.

d_{1}

$d_1$

d_{1}

$d_1$

P (d_{1}, d_{2})

$P(d_1,d_2)$

[0, 1]

$[0,1]$

d_{1}

$d_1$

d_{2}

$d_2$

— anderstood

Karena Gaussians adalah kepadatan probabilitas , bukan probabilitas, penjelasan ini tidak lengkap.

— whuber