Adakah yang memecahkan latihan PTLOS 4.1?


19

Latihan ini diberikan dalam Probability Theory: The Logic of Science oleh Edwin Jaynes, 2003. Ada solusi parsial di sini . Saya telah menemukan solusi parsial yang lebih umum, dan bertanya-tanya apakah ada orang lain yang menyelesaikannya. Saya akan menunggu sedikit sebelum memposting jawaban saya, untuk mencoba yang lain.

Oke, jadi anggaplah kita memiliki hipotesis yang saling eksklusif dan lengkap, dilambangkan oleh . Lebih jauh anggap kita memiliki set data , dilambangkan dengan . Rasio kemungkinan untuk hipotesis ke-i diberikan oleh:nHsaya(saya=1,...,n)mDj(j=1,...,m)

L.R(Hsaya)=P(D1D2...,Dm|Hsaya)P(D1D2...,Dm|H¯saya)

Perhatikan bahwa ini adalah probabilitas bersyarat. Sekarang anggaplah bahwa mengingat hipotesis engan yang set data independen, jadi kita harus:Hsayam

P(D1D2,Dm|Hi)=j=1mP(Dj|Hi)(i=1,,n)Condition 1

Sekarang akan lebih mudah jika penyebut juga memperhitungkan faktor dalam situasi ini, sehingga kita memiliki:

P(D1D2,Dm|H¯i)=j=1mP(Dj|H¯i)(i=1,,n)Condition 2

Karena dalam kasus ini rasio kemungkinan akan dipecah menjadi produk dengan faktor yang lebih kecil untuk setiap kumpulan data, sehingga kami memiliki:

LR(Hi)=j=1mP(Dj|Hi)P(Dj|H¯i)

Jadi dalam hal ini, setiap set data akan "memberikan suara untuk " atau "memberikan suara terhadap " secara independen dari set data lainnya.H iHiHi

Latihan ini untuk membuktikan bahwa jika (lebih dari dua hipotesis), tidak ada cara non-sepele di mana anjak piutang ini dapat terjadi. Yaitu, jika Anda mengasumsikan bahwa kondisi 1 dan kondisi 2 tahan, maka paling banyak salah satu faktor: berbeda dari 1, dan dengan demikian hanya 1 set data yang akan berkontribusi pada rasio kemungkinan.P ( D 1 | H i )n>2

P(D1|Hi)P(D1|H¯i)P(D2|Hi)P(D2|H¯i)P(Dm|Hi)P(Dm|H¯i)

Saya pribadi menemukan hasil ini cukup menarik, karena pada dasarnya menunjukkan bahwa pengujian hipotesis berganda tidak lain adalah serangkaian tes hipotesis biner.


Saya sedikit bingung dengan indeks pada ; Apakah ? Atau apakah itu ? Sepertinya seharusnya yang terakhir, tapi kemudian aku tidak yakin mengapa subskrip. Atau mungkin saya kehilangan sesuatu yang lain sama sekali :) ˉ H i=argmaxhHiP(D1,Dm|h) ˉ H i=argmaksh{H1,,Hn}P(D1,Dm|h)H¯iH¯i=argmaxhHiP(D1,Dm|h)H¯i=argmaxh{H1,,Hn}P(D1,Dm|h)
JMS

@ JMS - singkatan dari pernyataan logis " is false", atau bahwa salah satu hipotesis lainnya adalah benar. Jadi dalam "aljabar Boolean" kita memiliki (karena hipotesis bersifat eksklusif dan lengkap)Hi ¯ H iH1+H2++Hi-1+Hi+1++HnH¯iHiH¯iH1+H2++Hi1+Hi+1++Hn
probabilityislogic

Saya merasa harus ada solusi yang lebih intuitif daripada aljabar yang diberikan dalam solusi parsial Sanders. Jika data independen diberikan masing-masing hipotesis maka ini terus berlaku ketika prior hipotesis bervariasi. Dan entah bagaimana, hasilnya adalah bahwa hal yang sama harus berlaku untuk kesimpulan ...
charles.y.zheng

@ Charles - Saya tahu persis bagaimana perasaan Anda. Saya pikir saya bisa menurunkannya dengan menggunakan beberapa inkonsistensi kualitatif (Reductio ad absurdum), tetapi saya tidak bisa melakukannya. Saya bisa memperpanjang matematika Sander. Dan itu adalah Kondisi 2 yang merupakan "yang cerdik" dalam hal apa artinya hasilnya.
probabilityislogic

@probabilityislogic "pada dasarnya menunjukkan bahwa pengujian hipotesis berganda tidak lain adalah serangkaian tes hipotesis biner." Tolong, bisakah Anda mengembangkan kalimat ini? Dengan membaca halaman 98 dari buku Jaynes, saya mengerti bahwa Anda dapat mengurangi pengujian menjadi menguji terhadap satu sama lain hipotesis dan kemudian menormalkan untuk mendapatkan posterior untuk , tapi saya tidak mengerti mengapa ini akan mengikuti dari hasil Latihan 4.1. H 1 H 1H1,,HnH1H1
Martin Drozdik

Jawaban:


7

Alasan kami menerima persamaan. 4.28 (dalam buku ini, kondisi Anda 1) adalah bahwa kami mengasumsikan probabilitas data yang diberikan hipotesis tertentu dan informasi latar belakang independen, dengan kata lain untuk setiap dan dengan : X D i D j i jHSebuahXDsayaDjsayaj

P(Dsaya|DjHSebuahX)=P(Dsaya|HSebuahX)(1)
Oleh karena itu, tidak ada kemungkinankemungkinan di luar kasus biner dapat didiskusikan seperti ini: Jika kita mengasumsikan eq .1 benar, apakah persamaan 2 juga benar?

P(Dsaya|DjHSebuah¯X)=?P(Dsaya|HSebuah¯X)(2)
Pertama mari kita lihat sisi kiri persamaan, menggunakan aturan perkalian:

n { H 1 ... H n } ¯ H a = Σ b

P(Dsaya|DjHSebuah¯X)=P(DsayaDjHSebuah¯|X)P(DjHSebuah¯|X)(3)
Karena hipotesis diasumsikan saling eksklusif dan lengkap, kita dapat menulis: Jadi e.3.3 menjadi: Untuk kasus bahwa kita hanya memiliki dua hipotesis, penjumlahan dihapus (karena hanya ada satu ), istilah yang sama dalam nominator dan penyebut, ), batal dan eq.2 terbukti benar, karenan{H1...Hn}P(Di|Dj ¯ H a X)= Σ b sebuah P( D i | D j H b X)P( D j H b | X)
HSebuah¯=bSebuahHb
baP(DjHb|X
P(Dsaya|DjHSebuah¯X)=bSebuahP(Dsaya|DjHbX)P(DjHb|X)bSebuahP(DjHb|X)=bSebuahP(Dsaya|HbX)P(DjHb|X)bSebuahP(DjHb|X)
bSebuahP(DjHb|X { H 1 , H 2 , H 3 } P ( D i | D j ¯ H 1 X ) = P ( D i | H 2 XHb=HSebuah¯ . Oleh karena itu persamaan 4.29 dapat diturunkan dari persamaan 4.28 dalam buku. Tetapi ketika kita memiliki lebih dari dua hipotesis, ini tidak terjadi, misalnya, jika kita memiliki tiga hipotesis: , persamaan di atas menjadi: Dengan kata lain: Satu-satunya cara persamaan ini dapat menghasilkan persamaan 2 adalah bahwa kedua penyebut sama dengan 1, yaitu kedua fraksi dalam 1 penyebut harus sama dengan nol. Tapi itu tidak mungkin.{H1,H2,H3} P(Di|Dj¯ H 1 X)=P(Di|H2X)
P(Dsaya|DjH1¯X)=P(Dsaya|H2X)P(DjH2|X)+P(Dsaya|H3X)P(DjH3|X)P(DjH2|X)+P(DjH3|X)
P(Dsaya|DjH1¯X)=P(Dsaya|H2X)1+P(DjH3|X)P(DjH2|X)+P(Dsaya|H3X)1+P(DjH2|X)P(DjH3|X)

1
Saya pikir persamaan keempat tidak benar. Kita harus memilikiP(DsayaDjHb|X)=P(DsayaHB|X)P(Dj|HbX)
probabilityislogic

Terima kasih banyak probabilityislogic, saya bisa memperbaiki solusinya. Apa yang Anda pikirkan sekarang?
astroboy

Saya hanya tidak mengerti bagaimana Jaynes berkata: "Mereka yang gagal membedakan antara independensi logis dan independensi kausal akan mengira bahwa (4.29) selalu valid".
astroboy

Saya pikir saya menemukan jawaban untuk komentar terakhir saya: tepat setelah kalimat di atas Jaynes mengatakan: "asalkan tidak ada memberikan pengaruh fisik pada lainnya ". Jadi pada dasarnya Jaynes mengatakan bahwa walaupun mereka tidak memiliki pengaruh fisik, ada batasan logis yang tidak memungkinkan generalisasi untuk lebih dari dua hipotesis. DsayaDj
astroboy

Setelah membaca teks lagi saya merasa komentar terakhir saya bukan jawaban yang baik. Seperti yang saya pahami sekarang, Jayne ingin mengatakan: "Mereka yang gagal membedakan antara independensi logis dan independensi kausal" akan berpendapat bahwa dan diasumsikan tidak memiliki pengaruh fisik. Dengan demikian mereka memiliki independensi kausal yang bagi mereka menyiratkan independensi logis atas setiap set hipotesis. Jadi mereka menemukan semua diskusi ini tidak berarti dan hanya melanjutkan untuk menggeneralisasi kasus biner. DsayaDj
astroboy

1

Oke, jadi daripada pergi dan mendapatkan kembali persamaan Saunder (5), saya hanya akan menyatakannya di sini. Kondisi 1 dan 2 menyiratkan kesetaraan berikut:

j=1m(ksayahkdjk)=(ksayahk)m-1(ksayahkj=1mdjk)
mana
djk=P(Dj|Hk,saya)hk=P(Hk|saya)

Sekarang kita dapat mengkhususkan pada kasus (dua set data) dengan mengambil dan memberi ulang . Perhatikan bahwa kedua kumpulan data ini masih memenuhi ketentuan 1 dan 2, sehingga hasil di atas juga berlaku untuk mereka. Sekarang berkembang dalam kasus kita dapatkan:m=2D1(1)D1D2(1)D2D3...Dmm=2

(ksayahkd1k)(lsayahld2l)=(ksayahk)(lsayahld1ld2l)

ksayalsayahkhld1kd2l=ksayalsayahkhld1ld2l

ksayalsayahkhld2l(d1k-d1l)=0(saya=1,...,n)

Istilah muncul dua kali dalam penjumlahan ganda di atas, sekali ketika dan , dan sekali lagi ketika dan . Ini akan terjadi selama . Koefisien setiap istilah diberikan oleh dan . Sekarang karena ada dari persamaan ini, kita sebenarnya dapat menghapus dari persamaan ini. Sebagai ilustrasi, ambil , sekarang ini berarti kita memiliki semua kondisi kecuali di mana dan . Sekarang ambil(d1Sebuah-d1b)k=Sebuahl=bk=bl=SebuahSebuah,bsayad2b-d2Sebuahsayasayasaya=1Sebuah=1,b=2b=1,Sebuah=2saya=3, dan kami sekarang dapat memiliki dua kondisi ini (perhatikan ini mengasumsikan setidaknya tiga hipotesis). Jadi persamaan dapat ditulis ulang sebagai:

l>khkhl(d2l-d2k)(d1k-d1l)=0

Sekarang masing-masing istilah harus lebih besar dari nol, jika tidak kita berhadapan dengan hipotesis, dan jawabannya dapat dirumuskan kembali dalam . Jadi ini dapat dihapus dari serangkaian kondisi di atas:hsayan1<nn1

l>k(d2l-d2k)(d1k-d1l)=0

Dengan demikian, ada kondisi yang harus dipenuhi, dan setiap kondisi menyiratkan salah satu dari dua "sub-kondisi": bahwa untuk atau (tetapi tidak harus keduanya). Sekarang kita memiliki satu set semua pasangan unik untuk . Jika kita mengambil dari pasangan ini untuk salah satu dari , maka kita akan memiliki semua angka di set, dan . Ini karena pasangan pertama memiliki elemen, dan setiap pasangan tambahan membawa setidaknya satu elemen tambahan ke set *n(n-1)2djk=djlj=1j=2(k,l)djk=djln-1j1,...,ndj1=dj2==dj,n-1=dj,n2

Tetapi perhatikan bahwa karena ada kondisi , kita harus memilih setidaknya bilangan bulat terkecil lebih besar dari atau sama dengan untuk salah satu dari atau . Jika maka jumlah istilah yang dipilih lebih besar dari . Jika atau maka kita harus memilih istilah . Ini menyiratkan bahwa . Hanya dengan dua hipotesis ( ) adalah di mana ini tidak terjadi. Tetapi dari persamaan terakhir dalam artikel Saunder, kondisi kesetaraan ini menyiratkan:n(n-1)212×n(n-1)2=n(n-1)4j=1j=2n>4n-1n=4n=3n-1dj1=dj2==dj,n-1=dj,nn=2

P(Dj|H¯saya)=ksayadjkhkksayahk=djsayaksayahkksayahk=djsaya=P(Dj|Hsaya)

Jadi, dalam rasio kemungkinan yang kita miliki:

P(D1(1)|Hsaya)P(D1(1)|H¯saya)=P(D1|Hsaya)P(D1|H¯saya)=1 ATAUP(D2(1)|Hsaya)P(D2(1)|H¯saya)=P(D2D3...,Dm|Hsaya)P(D2D3...,Dm|H¯saya)=1

Untuk melengkapi bukti, perhatikan bahwa jika kondisi kedua bertahan, hasilnya sudah terbukti, dan hanya satu rasio yang dapat berbeda dari 1. Jika kondisi pertama berlaku, maka kita dapat mengulangi analisis di atas dengan ulang dan . Maka kita akan membuat tidak berkontribusi, atau menjadi satu-satunya kontributor. Kami kemudian akan memiliki pelabelan ketiga ketika tidak berkontribusi memegang, dan sebagainya. Dengan demikian, hanya satu set data yang dapat berkontribusi pada rasio kemungkinan ketika kondisi 1 dan kondisi 2 berlaku, dan ada lebih dari dua hipotesis.D1(2)D2D2(2)D3...,DmD1,D2D2D1D2

* CATATAN: Pasangan tambahan mungkin tidak membawa ketentuan baru, tetapi ini akan diimbangi oleh pasangan yang membawa 2 istilah baru. mis. ambil sebagai yang pertama [+2], [+1] dan [+0], tetapi istilah berikutnya harus punya untuk kedua . Ini akan menambahkan dua istilah [+2]. Jika maka kita tidak perlu memilih lagi, tetapi untuk "yang lain" kita harus memilih 3 pasangan yang bukan . Ini adalah dan dengan demikian kesetaraan berlaku, karena semua angka ada di set.dj1=dj2dj1=dj3dj2=dj3djk=djlk,l(1,2,3)n=4j(1,2),(2,3),(1,3)(1,4),(2,4),(3,4)(1,2,3,4)


Saya mulai meragukan keakuratan bukti ini. Hasil dalam matematika Saunders menyiratkan hanya kendala non linear pada . Ini membuat hanya memiliki derajat kebebasan daripada . Namun untuk mencapai kondisi diperlukan argumen yang berbeda. ndjkdjkn2nn(n-1)2
probabilityislogic

0

Sebagai catatan, ini adalah bukti yang agak lebih luas . Ini juga mengandung beberapa informasi latar belakang. Mungkin ini bermanfaat bagi orang lain yang sedang mempelajari topik tersebut.

Gagasan utama buktinya adalah untuk menunjukkan bahwa kondisi 1 dan 2 Jaynes menyiratkan bahwa untuk semua kecuali satu kumpulan data . Itu kemudian menunjukkan bahwa untuk semua set data ini, kami juga memiliki Dengan demikian kita memiliki semua data kecuali satu set, Alasan saya ingin menyertakan buktinya di sini adalah bahwa beberapa langkah yang terlibat sama sekali tidak jelas, dan orang perlu berhati-hati untuk tidak menggunakan hal lain selain ketentuan. 1 dan 2 dan aturan produk (seperti banyak bukti lainnya lakukan secara implisit). The link di atas

P(Dmk|HsayaX)=P(Dmk|X),
mk=1,...,m
P(Dmk|H¯sayaX)=P(Dmk|X).
P(Dmk|HsayaX)P(Dmk|H¯sayaX)=P(Dmk|X)P(Dmk|X)=1.
termasuk semua langkah ini secara rinci. Itu ada di Google Drive saya dan saya akan memastikannya tetap dapat diakses.


Selamat datang di Cross Validated . Terima kasih atas jawaban Anda. Bisakah Anda mengedit jawaban Anda untuk mengembangkannya, untuk memasukkan poin utama dari tautan yang Anda berikan? Akan lebih bermanfaat bagi orang yang mencari di situs ini dan jika tautannya terputus. Omong-omong, ambil kesempatan untuk mengikuti Tur , jika Anda belum melakukannya. Lihat juga beberapa tips tentang Cara Menjawab , tentang memformat bantuan dan menuliskan persamaan menggunakan LaTeX / MathJax .
Ertxiem - mengembalikan Monica

Terima kasih atas komentar Anda. Saya mengedit posting dan membuat sketsa langkah-langkah utama buktinya.
dennis
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.