Turunkan P (C | A + B) dari dua aturan Cox

9

Saya bekerja dengan cara saya (belajar sendiri) melalui buku ET Jaynes ' Probability Theory - The Logic of Science

Masalah Asli

Latihan 2.1 mengatakan: "Apakah mungkin untuk menemukan formula umum untuk $p(C|A+B)$ analog dengan [rumusnya $p(A+B|C)=p(A|C)+p(B|C)-p(AB|C)$ ] dari produk dan aturan penjumlahan. Jika demikian, turunkan; jika tidak, jelaskan mengapa ini tidak bisa dilakukan. "

Memberi

Aturan yang harus saya kerjakan adalah:

$p(AB | C) = p(A|C)p(B|AC) = p(B|C)p(A|BC)$ dan $p(A|B)+p(\bar{A}|B)=1$

Di mana kita juga dapat menggunakan identitas logis untuk memanipulasi proposisi. Sebagai contoh: $A+B=\overline{\bar{A}\bar{B}}$

Asumsi Solvabilitas

Saya percaya itu pasti mungkin karena dia tidak memperkenalkan aturan lain di kemudian hari dan memiliki kombinasi logis sederhana dari proposisi yang tidak mudah diungkapkan akan mengalahkan tesis sentral Jaynes. Namun, saya tidak bisa mendapatkan aturan.

Percobaan saya

Untuk menjaga agar saya tidak bingung karena menggunakan nama variabel yang sama dengan givens, saya memecahkan masalah dengan:

Turunkan rumus untuk $p(X|Y+Z)$

Memperkenalkan tautologi untuk pengkondisian

Upaya terbaik saya untuk menyelesaikannya sejauh ini adalah memperkenalkan sebuah proposisi $W$ yang selalu benar. Jadi saya bisa menulis ulang $Y+Z$ sebagai $(Y+Z)W$ (Karena kebenaran adalah identitas multiplikatif).

Lalu, saya bisa menulis:

$p(X|Y+Z)=p(X|(Y+Z)W)$

Jadi, menulis ulang salah satu dari givens sebagai aturan Bayes: $p(A|BC)=\frac{p(B|AC)p(A|C)}{p(B|C)}$ , Saya bisa menulis:

$p(X|(Y+Z)W)=\frac{p(Y+Z|XW)p(X|W)}{p(Y+Z|W)}=\frac{p(Y+Z|X)p(X|W)}{p(Y+Z|W)}$

Mengapa ini tidak berhasil?

Syarat $p(Y+Z|X)$ mudah ditangani. (Perluasannya disebutkan dalam definisi masalah.)

Namun, saya tidak tahu harus berbuat apa $p(X|W)$ dan $p(Y+Z|W)$ . Tidak ada transformasi logis yang dapat saya terapkan untuk menyingkirkan $W$ , saya juga tidak bisa memikirkan cara untuk menerapkan aturan yang diberikan untuk sampai ke sana.

Tempat-tempat lain yang pernah saya lihat

Saya telah melakukan pencarian Google, yang muncul halaman forum ini . Tetapi penulis melakukan hal yang sama saya mencoba tanpa melihat kesulitan yang saya miliki dengan hasil pengkondisian pada tautologi yang diperkenalkan.

Saya juga mencari "Jaynes" stats.stackexchange.com dan juga untuk "Latihan 2.1" tanpa menemukan hasil yang bermanfaat.

— Eponim
sumber

Saya tidak berpikir ini layak untuk jawabannya sendiri, tetapi saya pikir apa yang Anda miliki adalah benar, dan itulah yang diharapkan oleh Jaynes. Anda bisa berasumsi

W

$W$ untuk menjadi Benar selalu. Dan pertanyaan berikutnya yang dia berikan adalah tentang kasus yang lebih umum

p (C | (A_{1} + A_{2} + . . . + A_{n}) W)

$p(C|(A_1 + A_2 + ... + A_n)W)$ , di mana dia meminta Anda untuk membuktikan bentuk yang lebih umum dari Bayes Theorem. (Ini bertahun-tahun setelah pertanyaan ini diajukan, tetapi saya terjebak pada bagian yang sama. Saya harap komentar ini membantu orang lain)

— William Oliver

3

Saya tidak yakin apa yang dianggap analog oleh Jaynes $P(A\cup B \mid C) = P(A \mid C) + P(B \mid C) - P(AB \mid C)$ tetapi siswa dengan ceria menggunakan satu atau lebih dari yang berikut pada pekerjaan rumah dan ujian:

\begin{aligned} P (A ∣ B \cup C) & = P (A ∣ B) + P (C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (C) - P (A C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C), \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C) - P (A ∣ B C), \\ P (A ∣ B \cup C) & = P (A B ∣ B \cup C) + P (A C ∣ B \cup C) - P (A B C ∣ B \cup C) . \end{aligned}

$\begin{align*} P(A\mid B \cup C) &= P(A \mid B) + P(C)\\ P(A\mid B \cup C) &= P(A \mid B) + P(C) - P(AC)\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C),\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C) - P(A \mid BC),\\ P(A\mid B \cup C) &= P(AB \mid B\cup C) + P(AC \mid B \cup C) - P(ABC \mid B\cup C). \end{align*}$ Apakah Anda pikir semua ini benar?

Catatan: Mengubah komentar saya (yang sekarang dihapus) menjadi tambahan untuk jawaban saya, aturan mengizinkan manipulasi berikut: $P(AB \mid C) = P(A\mid C)P(B \mid AC); P(A \mid C) = 1 - P(A^c \mid C).$ Yang pertama memperkenalkan pengkondisian pada subset dari $C$ tetapi tidak menghilangkan pengkondisian pada $C$ . Yang kedua juga tidak menghilangkan pengkondisian $C$ . Jadi ada manipulasi $P(A\mid B \cup C)$ akan selalu menyertakan ketentuan formulir $P(X\mid B \cup C)$ , dan $P(A\mid B \cup C)$ tidak dapat diungkapkan dalam bentuk $P(A \mid B)$ , $P(A \mid C)$ , $P(A \mid BC)$ , dll. tanpa menyertakan probabilitas yang dikondisikan $B \cup C$ juga.

— Dilip Sarwate
sumber

Saya tidak suka salah satu dari mereka. Saya pikir jawaban terakhir secara teknis benar, tetapi itu tidak menghilangkan pengkondisian yang saya coba hapus karena semua istilah masih memiliki fungsi

A

$A$ diberikan

B \cup C

$B \cup C$ .

— Eponim

@Eponymous Tetapi perhatikan bahwa dalam ekspresi yang Jaynes ingin Anda tiru, yaitu.

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$ , pengkondisian tetap menyala

C

$C$ sepanjang. Jadi pertanyaannya adalah apa yang menurut Jaynes analog. "Identitas" terakhir saya adalah pernyataan yang benar, dan memiliki pengondisian pada peristiwa yang sama di kedua sisi, sama seperti milik Jaynes

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$ tidak

— Dilip Sarwate

Dalam kerangka kerja Jaynes, Anda harus selalu mengkondisikan sesuatu.

P (X)

$P(X)$ tidak terdefinisi untuk semua

X

$X$ . Jadi pengkondisian pada satu istilah tidak dapat dihindari. Pemahaman saya tentang masalahnya adalah bahwa saya perlu entah bagaimana harus istirahat

P (A | B \cup C)

$P(A|B \cup C)$ menjadi hal-hal yang mungkin lebih alami / lebih mudah untuk dihitung, idealnya menghapus

\cup

$\cup$ sama sekali (meskipun mungkin tidak bisa dilepas). Saya tidak melihat identitas terakhir Anda melakukan hal itu.

— Eponim

@Dilip Saya tidak berpikir ada yang salah dengan jawaban Anda, dan saya pikir ada banyak (terutama bit terakhir) yang benar (+1). Absen manual solusi (yang saya pikir bahkan tidak ada), kita tidak pernah tahu apa yang ada di pikiran Jaynes. Tapi saya pikir Anda benar bahwa jawaban akhir harus dikondisikan sepanjang jalan, dan apa yang tampaknya menjadi peristiwa pengkondisian alami adalah:

A \cup B

$A \cup B$ .

2

Untuk masalah-masalah seperti ini, kadang-kadang ada gunanya memikirkan lebih sedikit tentang formula dan alih-alih menggambar (dalam hal ini, diagram Venn).

masukkan deskripsi gambar di sini

Sekarang menatap gambar dan coba memvisualisasikan apa $P(C | A \cup B)$ mewakili. Jika Anda dapat mengambilnya dari gambar, maka Anda akan melihat bahwa ada beberapa cara yang valid untuk menulisnya (dua cara melompat ke pikiran saya dari kelelawar). Jika Anda masih buntu, coba kembali ke bukti biasa tentang aturan penambahan umum biasa untuk petunjuk.

Ingat: probabilitas bersyarat memusatkan semua massa probabilitasnya pada peristiwa pengkondisian (dalam kasus ini, $A \cup B$ ). Idenya adalah untuk fokus pada lokasi di mana $C$ memotong acara itu.

Ngomong-ngomong, kode R untuk gambar tersebut adalah

library(venneuler)
vd <- venneuler(c(A=0.2, B=0.2, C=0.2, "A&B"=0.04, "A&C"=0.04, "B&C"=0.04 ,"A&B&C"=0.008))
plot(vd)

Bagaimana ini membantu dalam menulis formula hanya menggunakan aturan Jaynes? Kita seharusnya hanya menggunakan dua aturan yang dinyatakan oleh OP.

— Dilip Sarwate

1

@Dilip Saya pikir bagian tersulit dari masalah Jaynes ini adalah dia tidak secara eksplisit menyatakan formula untuk menembak. Tetapi diagram memungkinkan kita untuk melihat formula potensial yang memiliki peluang di Heck menjadi valid, dan ya, yang saya pikirkan dapat dibuktikan hanya dengan aturan produk dan penjumlahan (pada kenyataannya, Jaynes melakukannya dalam paragraf dengan segera melanjutkan latihan aslinya!).

@ Jay Masalahnya, seperti yang saya tunjukkan dalam komentar atas jawaban saya sendiri, adalah bahwa semuanya ada dalam rumus untuk

P (C ∣ A \cup B)

$P(C \mid A\cup B)$ tentu perlu dikondisikan

A \cup B

$A\cup B$ . Di sisi lain, seperti yang Anda katakan, teks Jaynes membuktikan versi bersyarat dari hasil yang terkenal:

P (A \cup B) = P (A) + P (B) - P (A B)

$P(A \cup B) = P(A) + P(B) - P(AB)$ . Sangat mudah untuk memecah acara yang dikondisikan , tidak demikian untuk acara pengkondisian .

— Dilip Sarwate

@Dip, ya, tidak dapat memecah acara pengkondisian, saya bersamamu.

1

Teorema Bayes memberi

p (C ∣ A + B) = \frac{p (A + B ∣ C) p (C)}{p (A + B)} .

$p(C\mid A+B) = \frac{p(A+B\mid C)\;p(C)}{p(A+B)} \, .$ Sekarang, dengan menggunakan aturan penjumlahan bersyarat dan tanpa syarat, kami miliki

p (C ∣ A + B) = \frac{p (A ∣ C) + p (B ∣ C) - p (A B ∣ C)}{p (A) + p (B) - p (A B)} p (C) .

$p(C\mid A+B) = \frac{p(A\mid C)+p(B\mid C)-p(AB\mid C)}{p(A)+p(B)-p(AB)}\;p(C) \, .$ Tentu saja, pertanyaannya adalah apakah formula ini akan "cukup analog" untuk Jaynes.

— Zen
sumber

Seperti yang ditunjukkan OP dalam komentar, "Dalam kerangka kerja Jaynes, Anda harus selalu mengkondisikan sesuatu. P (X) tidak ditentukan untuk semua X. Dengan demikian pengkondisian pada satu istilah tidak dapat dihindari." Jadi, Anda tidak diperbolehkan menulis P (C), P (A), dll.

— Dilip Sarwate

1

Anda tidak dapat menyingkirkan tautologi. Saya pikir Anda seharusnya hanya menambahkan tautologi dan menerapkan aturan produk dan kemudian aturan penjumlahan dan Anda mendapatkan:

p (C | (A + B) W) = \frac{p (C A | W) + p (C B | W) - p (A B | W)}{p (A | W) + p (B | W) - p (A B | W)}

$p(C|(A+B)W) = \frac{p(CA|W)+p(CB|W)-p(AB|W)}{p(A|W)+p(B|W)-p(AB|W)}$

di mana semua probabilitas dinyatakan sebagai bagian dari tautologi. Saya pikir ini adalah yang paling mirip dengan aturan penjumlahan yang bisa Anda dapatkan untuk masalah ini, sehingga akan menjadi solusinya.

Perhatikan bahwa jika Anda menambahkan kondisinya $p(AB|W)=0$ (yaitu $A$ dan $B$ saling eksklusif) Anda mendapatkan ekspresi yang sama dengan yang harus Anda buktikan dalam masalah 2.2, yang akan menunjukkan solusi ini kemungkinan besar benar (oleh induksi Bayesian;).

— MastermindX
sumber

0

Hanya mengikuti aturan Cox, mengambil $W=X$ seperti dalam buku Jaynes, kami memiliki solusi dari MastermindX:

hal (C | (SEBUAH + B) X) = \frac{hal (C (SEBUAH + B) | X)}{hal ((SEBUAH + B) | X)} (aturan produk)

$p(C|(A+B)X) = \dfrac{p(C(A+B)|X)}{p((A+B)|X)} \qquad \text{(product rule)}$

= \frac{hal ((C SEBUAH + C B) | X)}{hal ((SEBUAH + B) | X)} (Properti distributif dari konjungsi)

$= \dfrac{p((CA+CB)|X)}{p((A+B)|X)} \qquad \text{(distributive property of the conjunction)}$

= \frac{hal (C SEBUAH | X) + hal (C B | X) - hal (C SEBUAH B | X)}{hal ((SEBUAH + B) | X)} (aturan jumlah pembilang)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p((A+B)|X)} \qquad \text{(sum rule on numerator)}$

= \frac{hal (C SEBUAH | X) + hal (C B | X) - hal (C SEBUAH B | X)}{hal (SEBUAH | X) + hal (B | X) - hal (SEBUAH B | X)} (jumlah aturan pada demoninator)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(sum rule on demoninator)}$

= \frac{hal (SEBUAH | X) hal (C | SEBUAH X) + hal (B | X) hal (C | B X) - hal (SEBUAH B | X) hal (C | SEBUAH B X)}{hal (SEBUAH | X) + hal (B | X) - hal (SEBUAH B | X)} (aturan produk pada pembilang)

$= \dfrac{p(A|X)p(C|AX)+p(B|X)p(C|BX)-p(AB|X)p(C|ABX)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(product rule on numerator)}$

Solusi untuk Kel. 2.1 mengikuti maksud Bab 2 dalam aturan produk, bahwa "pertama-tama kita mencari aturan yang konsisten yang berkaitan dengan masuk akalnya produk logis $AB$ untuk masuk akal $A$ dan $B$ secara terpisah "(halaman 24). Selain itu, untuk proposisi yang saling eksklusif $A$ dan $B$ , ini sama dengan Persamaan. (2.67) dalam Kel. 2.2, jika kita ambil $\{A_{1} = A$ , $A_{2} = B\}$ ; juga ditunjukkan oleh MastermindX. Perhatikan bahwa Jaynes sendiri tidak menghilangkan informasi tambahan $X$ pada Persamaan. (2.67), jadi saya percaya ini adalah solusi yang diharapkan untuk kedua latihan.

— aatr
sumber