Kapan Markov bidang acak


21

Dalam buku teks mereka, Model Grafis, Keluarga Eksponensial dan Inferensi Variasi , M. Jordan dan M. Wainwright membahas hubungan antara keluarga Eksponensial dan Markov Random Fields (model grafis tidak diarahkan).

Saya mencoba memahami hubungan antara mereka dengan pertanyaan-pertanyaan berikut:

  • Apakah semua anggota MRF dari keluarga Eksponensial?
  • Bisakah semua anggota dari keluarga Eksponensial direpresentasikan sebagai MRF?
  • Jika keluarga eksponensial, apa saja contoh distribusi yang baik dari satu jenis yang tidak termasuk yang lain ?

Dari apa yang saya pahami dalam buku teks mereka (Bab 3), Jordan dan Wainwright menyajikan argumen berikut:


  1. Katakanlah kita memiliki aa skalar variabel acak X yang mengikuti beberapa distribusi , dan menarik pengamatan iid , dan kami ingin mengidentifikasi .pX 1 , ... X n hlmnX1,Xnp

  2. Kami menghitung ekspektasi empiris fungsi-fungsi tertentuϕα

    μ^α=1ni=1nϕα(Xi), untuk semuaαI

    di mana setiap dalam beberapa set mengindeks fungsiI ϕ α : XRαIϕα:XR

  3. Maka jika kita memaksa dua set jumlah berikut untuk konsisten, yaitu untuk mencocokkan (untuk mengidentifikasi ):p

    • Harapan dari statistik yang cukup dari distribusiϕ pEp[(ϕα(X)]=Xϕα(x)p(x)ν(dx)ϕp

    • Harapan di bawah distribusi empiris

kami mendapatkan masalah yang tidak ditentukan , dalam arti bahwa ada banyak distribusi yang konsisten dengan pengamatan. Jadi kita perlu prinsip untuk memilih di antara mereka (untuk mengidentifikasi ).ppp

Jika kita menggunakan prinsip entropi maksimum untuk menghapus ketidakpastian ini, kita bisa mendapatkan satu :p

E p [ ( φ a ( X ) ] = μ a a Ip=argmaxpPH(p) tunduk pada untuk semuaEp[(ϕα(X)]=μ^ααI

di mana mengambil bentuk exp mana merupakan parameterisasi distribusi dalam bentuk keluarga eksponensial.p θ ( x ) α I θ α ϕ α ( x ) , θ R dppθ(x)αIθαϕα(x),θRd

Dengan kata lain, jika kita

  1. Buat harapan distribusi menjadi konsisten dengan harapan di bawah distribusi empiris
  2. Gunakan prinsip entropi maksimum untuk menyingkirkan ketidakpastian

Kita berakhir dengan distribusi keluarga eksponensial.


Namun, ini lebih seperti argumen untuk memperkenalkan keluarga eksponensial, dan (sejauh yang saya bisa mengerti) itu tidak menggambarkan hubungan antara MRF dan exp. keluarga. Apakah saya kehilangan sesuatu?


3
Saya pikir ada beberapa kebingungan di sana: [MRFs] ( en.wikipedia.org/wiki/Markov_random_field ) tidak didefinisikan sesuai dengan prinsip entropi maksimum, tetapi pada hak mereka sendiri, oleh fakta kepadatan memecah menurut klik kelompok. grafik. MRF adalah keluarga eksponensial, karena representasi log-linear mereka.
Xi'an

Terima kasih @ Xi'an. Bagian ini " MRF didefinisikan oleh fakta bahwa kerapatan faktor sesuai dengan klik pada grafik " adalah apa yang saya selalu pikirkan mendefinisikan MRF. Tetapi mengapa properti ini membuat semua MRF menjadi bagian dari keluarga eksponensial? Dan apa saja contoh (jika ada) dari kedua jenis (MRF atau keluarga exp) yang bukan anggota jenis lain?
Amelio Vazquez-Reina

1
Saya tidak yakin berapa banyak yang akan ditambahkan untuk Anda, tetapi satu hal yang dapat membuatnya lebih jelas adalah membaca formulasi asli distribusi Gibbs dan MRF dalam makalah ini oleh Geman dan Geman. Pada dasarnya, seluruh ide adalah untuk memodelkan sesuatu dengan distribusi Boltzman (exp ke minus sesuatu) dan kemudian bertanya bagaimana sesuatu menjadi faktor. Karena cara menggambarkannya, mungkin lebih jelas hubungannya dengan keluarga eksponensial.
ely

3
Keluarga eksponensial didefinisikan oleh fakta bahwa kepadatan log pada dasarnya adalah produk skalar dari fungsi vektor dari pengamatan dan fungsi vektor dari parameter. Tidak ada struktur grafis yang terlibat dalam definisi ini. MRF juga melibatkan grafik yang mendefinisikan klik, lingkungan, & tc. Oleh karena itu, MRF adalah keluarga eksponensial dengan struktur tambahan, grafik.
Xi'an

1
Saya kira kebingungan dalam komentar / jawaban yang bertentangan datang ke apakah Anda diizinkan untuk memperkenalkan faktor-faktor yang tidak loglinear sehubungan dengan parameternya.
Yaroslav Bulatov

Jawaban:


14

Anda sepenuhnya benar - argumen yang Anda ajukan mengaitkan keluarga eksponensial dengan prinsip entropi maksimum, tetapi tidak ada hubungannya dengan MRF.

Untuk menjawab tiga pertanyaan awal Anda:

Bisakah semua anggota dari keluarga Eksponensial direpresentasikan sebagai MRF?

P(X=x)=Ccl(G)ϕC(XC=xC)
cl(G)G. Dari definisi ini, Anda dapat melihat bahwa grafik yang sepenuhnya terhubung, walaupun sama sekali tidak informatif, konsisten dengan distribusi apa pun.

Apakah semua anggota MRF dari keluarga Eksponensial?

are

Distribusi campuran adalah contoh umum distribusi keluarga non-eksponensial. Pertimbangkan model ruang keadaan Gaussian linier (seperti model Markov tersembunyi, tetapi dengan status tersembunyi terus menerus dan transisi Gaussian dan distribusi emisi). Jika Anda mengganti kernel transisi dengan campuran Gaussians, distribusi yang dihasilkan tidak lagi dalam keluarga eksponensial (tetapi masih mempertahankan karakteristik struktur independensi bersyarat kaya dari model grafis praktis).

[1] http://en.wikipedia.org/wiki/Markov_random_field

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.