Turunkan P (C | A + B) dari dua aturan Cox


9

Saya bekerja dengan cara saya (belajar sendiri) melalui buku ET Jaynes ' Probability Theory - The Logic of Science

Masalah Asli

Latihan 2.1 mengatakan: "Apakah mungkin untuk menemukan formula umum untukp(C|A+B) analog dengan [rumusnya p(A+B|C)=p(A|C)+p(B|C)p(AB|C)] dari produk dan aturan penjumlahan. Jika demikian, turunkan; jika tidak, jelaskan mengapa ini tidak bisa dilakukan. "

Memberi

Aturan yang harus saya kerjakan adalah:

p(AB|C)=p(A|C)p(B|AC)=p(B|C)p(A|BC) dan p(A|B)+p(A¯|B)=1

Di mana kita juga dapat menggunakan identitas logis untuk memanipulasi proposisi. Sebagai contoh:A+B=A¯B¯¯

Asumsi Solvabilitas

Saya percaya itu pasti mungkin karena dia tidak memperkenalkan aturan lain di kemudian hari dan memiliki kombinasi logis sederhana dari proposisi yang tidak mudah diungkapkan akan mengalahkan tesis sentral Jaynes. Namun, saya tidak bisa mendapatkan aturan.

Percobaan saya

Untuk menjaga agar saya tidak bingung karena menggunakan nama variabel yang sama dengan givens, saya memecahkan masalah dengan:

Turunkan rumus untuk p(X|Y+Z)

Memperkenalkan tautologi untuk pengkondisian

Upaya terbaik saya untuk menyelesaikannya sejauh ini adalah memperkenalkan sebuah proposisi Wyang selalu benar. Jadi saya bisa menulis ulangY+Z sebagai (Y+Z)W (Karena kebenaran adalah identitas multiplikatif).

Lalu, saya bisa menulis:

p(X|Y+Z)=p(X|(Y+Z)W)

Jadi, menulis ulang salah satu dari givens sebagai aturan Bayes: p(A|BC)=p(B|AC)p(A|C)p(B|C), Saya bisa menulis:

p(X|(Y+Z)W)=p(Y+Z|XW)p(X|W)p(Y+Z|W)=p(Y+Z|X)p(X|W)p(Y+Z|W)

Mengapa ini tidak berhasil?

Syarat p(Y+Z|X)mudah ditangani. (Perluasannya disebutkan dalam definisi masalah.)

Namun, saya tidak tahu harus berbuat apa p(X|W) dan p(Y+Z|W). Tidak ada transformasi logis yang dapat saya terapkan untuk menyingkirkanW, saya juga tidak bisa memikirkan cara untuk menerapkan aturan yang diberikan untuk sampai ke sana.

Tempat-tempat lain yang pernah saya lihat

Saya telah melakukan pencarian Google, yang muncul halaman forum ini . Tetapi penulis melakukan hal yang sama saya mencoba tanpa melihat kesulitan yang saya miliki dengan hasil pengkondisian pada tautologi yang diperkenalkan.

Saya juga mencari "Jaynes" stats.stackexchange.com dan juga untuk "Latihan 2.1" tanpa menemukan hasil yang bermanfaat.


Saya tidak berpikir ini layak untuk jawabannya sendiri, tetapi saya pikir apa yang Anda miliki adalah benar, dan itulah yang diharapkan oleh Jaynes. Anda bisa berasumsiWuntuk menjadi Benar selalu. Dan pertanyaan berikutnya yang dia berikan adalah tentang kasus yang lebih umump(C|(A1+A2+...+An)W), di mana dia meminta Anda untuk membuktikan bentuk yang lebih umum dari Bayes Theorem. (Ini bertahun-tahun setelah pertanyaan ini diajukan, tetapi saya terjebak pada bagian yang sama. Saya harap komentar ini membantu orang lain)
William Oliver

Jawaban:


3

Saya tidak yakin apa yang dianggap analog oleh Jaynes P(ABC)=P(AC)+P(BC)P(ABC) tetapi siswa dengan ceria menggunakan satu atau lebih dari yang berikut pada pekerjaan rumah dan ujian:

P(ABC)=P(AB)+P(C)P(ABC)=P(AB)+P(C)P(AC)P(ABC)=P(AB)+P(AC),P(ABC)=P(AB)+P(AC)P(ABC),P(ABC)=P(ABBC)+P(ACBC)P(ABCBC).
Apakah Anda pikir semua ini benar?

Catatan: Mengubah komentar saya (yang sekarang dihapus) menjadi tambahan untuk jawaban saya, aturan mengizinkan manipulasi berikut: P(ABC)=P(AC)P(BAC);P(AC)=1P(AcC). Yang pertama memperkenalkan pengkondisian pada subset dari C tetapi tidak menghilangkan pengkondisian pada C. Yang kedua juga tidak menghilangkan pengkondisianC. Jadi ada manipulasiP(ABC) akan selalu menyertakan ketentuan formulir P(XBC), dan P(ABC) tidak dapat diungkapkan dalam bentuk P(AB), P(AC), P(ABC), dll. tanpa menyertakan probabilitas yang dikondisikan BC juga.


Saya tidak suka salah satu dari mereka. Saya pikir jawaban terakhir secara teknis benar, tetapi itu tidak menghilangkan pengkondisian yang saya coba hapus karena semua istilah masih memiliki fungsiA diberikan BC.
Eponim

@Eponymous Tetapi perhatikan bahwa dalam ekspresi yang Jaynes ingin Anda tiru, yaitu. P(ABC)=P(AC)+P(BC)P(ABC), pengkondisian tetap menyala Csepanjang. Jadi pertanyaannya adalah apa yang menurut Jaynes analog. "Identitas" terakhir saya adalah pernyataan yang benar, dan memiliki pengondisian pada peristiwa yang sama di kedua sisi, sama seperti milik JaynesP(ABC)=P(AC)+P(BC)P(ABC)tidak
Dilip Sarwate

Dalam kerangka kerja Jaynes, Anda harus selalu mengkondisikan sesuatu. P(X) tidak terdefinisi untuk semua X. Jadi pengkondisian pada satu istilah tidak dapat dihindari. Pemahaman saya tentang masalahnya adalah bahwa saya perlu entah bagaimana harus istirahatP(A|BC) menjadi hal-hal yang mungkin lebih alami / lebih mudah untuk dihitung, idealnya menghapus sama sekali (meskipun mungkin tidak bisa dilepas). Saya tidak melihat identitas terakhir Anda melakukan hal itu.
Eponim

@Dilip Saya tidak berpikir ada yang salah dengan jawaban Anda, dan saya pikir ada banyak (terutama bit terakhir) yang benar (+1). Absen manual solusi (yang saya pikir bahkan tidak ada), kita tidak pernah tahu apa yang ada di pikiran Jaynes. Tapi saya pikir Anda benar bahwa jawaban akhir harus dikondisikan sepanjang jalan, dan apa yang tampaknya menjadi peristiwa pengkondisian alami adalah:AB.

2

Untuk masalah-masalah seperti ini, kadang-kadang ada gunanya memikirkan lebih sedikit tentang formula dan alih-alih menggambar (dalam hal ini, diagram Venn).

masukkan deskripsi gambar di sini

Sekarang menatap gambar dan coba memvisualisasikan apa P(C|AB)mewakili. Jika Anda dapat mengambilnya dari gambar, maka Anda akan melihat bahwa ada beberapa cara yang valid untuk menulisnya (dua cara melompat ke pikiran saya dari kelelawar). Jika Anda masih buntu, coba kembali ke bukti biasa tentang aturan penambahan umum biasa untuk petunjuk.

Ingat: probabilitas bersyarat memusatkan semua massa probabilitasnya pada peristiwa pengkondisian (dalam kasus ini, AB). Idenya adalah untuk fokus pada lokasi di manaC memotong acara itu.

Ngomong-ngomong, kode R untuk gambar tersebut adalah

library(venneuler)
vd <- venneuler(c(A=0.2, B=0.2, C=0.2, "A&B"=0.04, "A&C"=0.04, "B&C"=0.04 ,"A&B&C"=0.008))
plot(vd)

Bagaimana ini membantu dalam menulis formula hanya menggunakan aturan Jaynes? Kita seharusnya hanya menggunakan dua aturan yang dinyatakan oleh OP.
Dilip Sarwate

1
@Dilip Saya pikir bagian tersulit dari masalah Jaynes ini adalah dia tidak secara eksplisit menyatakan formula untuk menembak. Tetapi diagram memungkinkan kita untuk melihat formula potensial yang memiliki peluang di Heck menjadi valid, dan ya, yang saya pikirkan dapat dibuktikan hanya dengan aturan produk dan penjumlahan (pada kenyataannya, Jaynes melakukannya dalam paragraf dengan segera melanjutkan latihan aslinya!).

@ Jay Masalahnya, seperti yang saya tunjukkan dalam komentar atas jawaban saya sendiri, adalah bahwa semuanya ada dalam rumus untuk P(CAB) tentu perlu dikondisikan AB. Di sisi lain, seperti yang Anda katakan, teks Jaynes membuktikan versi bersyarat dari hasil yang terkenal:P(AB)=P(A)+P(B)P(AB). Sangat mudah untuk memecah acara yang dikondisikan , tidak demikian untuk acara pengkondisian .
Dilip Sarwate

@Dip, ya, tidak dapat memecah acara pengkondisian, saya bersamamu.

1

Teorema Bayes memberi

p(CA+B)=p(A+BC)p(C)p(A+B).
Sekarang, dengan menggunakan aturan penjumlahan bersyarat dan tanpa syarat, kami miliki
p(CA+B)=p(AC)+p(BC)p(ABC)p(A)+p(B)p(AB)p(C).
Tentu saja, pertanyaannya adalah apakah formula ini akan "cukup analog" untuk Jaynes.

Seperti yang ditunjukkan OP dalam komentar, "Dalam kerangka kerja Jaynes, Anda harus selalu mengkondisikan sesuatu. P (X) tidak ditentukan untuk semua X. Dengan demikian pengkondisian pada satu istilah tidak dapat dihindari." Jadi, Anda tidak diperbolehkan menulis P (C), P (A), dll.
Dilip Sarwate

1

Anda tidak dapat menyingkirkan tautologi. Saya pikir Anda seharusnya hanya menambahkan tautologi dan menerapkan aturan produk dan kemudian aturan penjumlahan dan Anda mendapatkan:

p(C|(A+B)W)=p(CA|W)+p(CB|W)p(AB|W)p(A|W)+p(B|W)p(AB|W)

di mana semua probabilitas dinyatakan sebagai bagian dari tautologi. Saya pikir ini adalah yang paling mirip dengan aturan penjumlahan yang bisa Anda dapatkan untuk masalah ini, sehingga akan menjadi solusinya.

Perhatikan bahwa jika Anda menambahkan kondisinya hal(SEBUAHB|W)=0 (yaitu SEBUAH dan B saling eksklusif) Anda mendapatkan ekspresi yang sama dengan yang harus Anda buktikan dalam masalah 2.2, yang akan menunjukkan solusi ini kemungkinan besar benar (oleh induksi Bayesian;).


0

Hanya mengikuti aturan Cox, mengambil W=X seperti dalam buku Jaynes, kami memiliki solusi dari MastermindX:

hal(C|(SEBUAH+B)X)=hal(C(SEBUAH+B)|X)hal((SEBUAH+B)|X)(aturan produk)
=hal((CSEBUAH+CB)|X)hal((SEBUAH+B)|X)(Properti distributif dari konjungsi)
=hal(CSEBUAH|X)+hal(CB|X)-hal(CSEBUAHB|X)hal((SEBUAH+B)|X)(aturan jumlah pembilang)
=hal(CSEBUAH|X)+hal(CB|X)-hal(CSEBUAHB|X)hal(SEBUAH|X)+hal(B|X)-hal(SEBUAHB|X)(jumlah aturan pada demoninator)
=hal(SEBUAH|X)hal(C|SEBUAHX)+hal(B|X)hal(C|BX)-hal(SEBUAHB|X)hal(C|SEBUAHBX)hal(SEBUAH|X)+hal(B|X)-hal(SEBUAHB|X)(aturan produk pada pembilang)

Solusi untuk Kel. 2.1 mengikuti maksud Bab 2 dalam aturan produk, bahwa "pertama-tama kita mencari aturan yang konsisten yang berkaitan dengan masuk akalnya produk logisSEBUAHB untuk masuk akal SEBUAH dan B secara terpisah "(halaman 24). Selain itu, untuk proposisi yang saling eksklusif SEBUAH dan B, ini sama dengan Persamaan. (2.67) dalam Kel. 2.2, jika kita ambil{SEBUAH1=SEBUAH, A2=B}; juga ditunjukkan oleh MastermindX. Perhatikan bahwa Jaynes sendiri tidak menghilangkan informasi tambahanXpada Persamaan. (2.67), jadi saya percaya ini adalah solusi yang diharapkan untuk kedua latihan.

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.