Sunting: Jawaban ini didasarkan pada asumsi yang salah bahwa kemungkinan jumlah marginal yang diberikan hanyalah fungsi dari probabilitas marginal dan . Saya masih memikirkannya.px,ypx=∑ypx,ypy=∑xpx,y
Hal-hal yang salah berikut:
Seperti disebutkan dalam komentar, masalah dengan menemukan "the" estimator maksimum-kemungkinan untuk adalah bahwa itu tidak unik. Sebagai contoh, pertimbangkan kasus dengan biner dan marginal . Dua penaksirpx,yX,YS1=S2=T1=T2=10
p=(120012),p=(14141414)
memiliki probabilitas marginal yang sama dan dalam semua kasus, dan karenanya memiliki kemungkinan yang sama (keduanya memaksimalkan fungsi kemungkinan, seperti yang dapat Anda verifikasi).pxpy
Memang, tidak peduli apa marjinalnya (selama dua di antaranya adalah nol di setiap dimensi), solusi kemungkinan maksimum tidak unik. Saya akan membuktikan ini untuk kasus biner. Biarkan menjadi solusi kemungkinan-maksimum. Tanpa kehilangan keumuman misalkan . Kemudian memiliki margin yang sama dan dengan demikian juga merupakan solusi kemungkinan-maksimum.p=(acbd)0<a≤dp=(0c+ab+ad−a)
Jika Anda ingin tambahan menerapkan batasan entropi maksimum, maka Anda mendapatkan solusi unik, yang seperti F. Tussell menyatakan adalah solusi di mana independen. Anda dapat melihat ini sebagai berikut:X,Y
Entropi dari distribusi adalah ; memaksimalkan subjek ke dan (setara, mana dan ) menggunakan pengganda Lagrange memberikan persamaan:H(p)=−∑x,ypx,ylogpx,y∑xpx,y=py∑ypx,y=pxg⃗ (p)=0gx(p)=∑ypx,y−pxgy(p)=∑xpx,y−py
∇H(p)=∑k∈X∪Yλk∇gk(p)
Semua gradien dari masing-masing adalah 1, jadi koordinasikan dengan bijak inigk
1−logpx,y=λx+λy⟹px,y=e1−λx−λy
ditambah batasan aslinya dan . Anda dapat memverifikasi bahwa ini puas ketika dan , memberikanΣ y p x , y = p x e 1 / 2 - λ x = p x e∑xpx,y=py∑ypx,y=pxe1/2−λx=pxe1/2−λy=py
px,y=pxpy.
maximum-entropy