Kapan Markov bidang acak

Dalam buku teks mereka, Model Grafis, Keluarga Eksponensial dan Inferensi Variasi , M. Jordan dan M. Wainwright membahas hubungan antara keluarga Eksponensial dan Markov Random Fields (model grafis tidak diarahkan).

Saya mencoba memahami hubungan antara mereka dengan pertanyaan-pertanyaan berikut:

Apakah semua anggota MRF dari keluarga Eksponensial?
Bisakah semua anggota dari keluarga Eksponensial direpresentasikan sebagai MRF?
Jika keluarga eksponensial, apa saja contoh distribusi yang baik dari satu jenis yang tidak termasuk yang lain ? $\neq$

Dari apa yang saya pahami dalam buku teks mereka (Bab 3), Jordan dan Wainwright menyajikan argumen berikut:

Katakanlah kita memiliki aa skalar variabel acak X yang mengikuti beberapa distribusi , dan menarik pengamatan iid , dan kami ingin mengidentifikasi . $p$ $n$ $X^1, \ldots X^n$ $p$
Kami menghitung ekspektasi empiris fungsi-fungsi tertentu $\phi_\alpha%$

$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ untuk semua $\alpha \in \mathcal{I}$

di mana setiap dalam beberapa set mengindeks fungsi $\alpha$ $\mathcal{I}$ $\phi_\alpha: \mathcal{X} \rightarrow R$
Maka jika kita memaksa dua set jumlah berikut untuk konsisten, yaitu untuk mencocokkan (untuk mengidentifikasi ): $p$
- Harapan dari statistik yang cukup dari distribusi $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$ $\phi$ $p$
- Harapan di bawah distribusi empiris

kami mendapatkan masalah yang tidak ditentukan , dalam arti bahwa ada banyak distribusi yang konsisten dengan pengamatan. Jadi kita perlu prinsip untuk memilih di antara mereka (untuk mengidentifikasi ). $p$ $p$

Jika kita menggunakan prinsip entropi maksimum untuk menghapus ketidakpastian ini, kita bisa mendapatkan satu : $p$

$\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ tunduk pada untuk semua $E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$ $\alpha \in \mathcal{I}$

di mana mengambil bentuk exp mana merupakan parameterisasi distribusi dalam bentuk keluarga eksponensial. $p^*$ $p_\theta(x) \propto$ ${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$ $\theta \in R^d$

Dengan kata lain, jika kita

Buat harapan distribusi menjadi konsisten dengan harapan di bawah distribusi empiris
Gunakan prinsip entropi maksimum untuk menyingkirkan ketidakpastian

$\rightarrow$ Kita berakhir dengan distribusi keluarga eksponensial.

Namun, ini lebih seperti argumen untuk memperkenalkan keluarga eksponensial, dan (sejauh yang saya bisa mengerti) itu tidak menggambarkan hubungan antara MRF dan exp. keluarga. Apakah saya kehilangan sesuatu?

mathematical-statistics graphical-model

— Amelio Vazquez-Reina
sumber

Saya pikir ada beberapa kebingungan di sana: [MRFs] ( en.wikipedia.org/wiki/Markov_random_field ) tidak didefinisikan sesuai dengan prinsip entropi maksimum, tetapi pada hak mereka sendiri, oleh fakta kepadatan memecah menurut klik kelompok. grafik. MRF adalah keluarga eksponensial, karena representasi log-linear mereka.

— Xi'an

Terima kasih @ Xi'an. Bagian ini " MRF didefinisikan oleh fakta bahwa kerapatan faktor sesuai dengan klik pada grafik " adalah apa yang saya selalu pikirkan mendefinisikan MRF. Tetapi mengapa properti ini membuat semua MRF menjadi bagian dari keluarga eksponensial? Dan apa saja contoh (jika ada) dari kedua jenis (MRF atau keluarga exp) yang bukan anggota jenis lain?

— Amelio Vazquez-Reina

Saya tidak yakin berapa banyak yang akan ditambahkan untuk Anda, tetapi satu hal yang dapat membuatnya lebih jelas adalah membaca formulasi asli distribusi Gibbs dan MRF dalam makalah ini oleh Geman dan Geman. Pada dasarnya, seluruh ide adalah untuk memodelkan sesuatu dengan distribusi Boltzman (exp ke minus sesuatu) dan kemudian bertanya bagaimana sesuatu menjadi faktor. Karena cara menggambarkannya, mungkin lebih jelas hubungannya dengan keluarga eksponensial.

— ely

Keluarga eksponensial didefinisikan oleh fakta bahwa kepadatan log pada dasarnya adalah produk skalar dari fungsi vektor dari pengamatan dan fungsi vektor dari parameter. Tidak ada struktur grafis yang terlibat dalam definisi ini. MRF juga melibatkan grafik yang mendefinisikan klik, lingkungan, & tc. Oleh karena itu, MRF adalah keluarga eksponensial dengan struktur tambahan, grafik.

— Xi'an

Saya kira kebingungan dalam komentar / jawaban yang bertentangan datang ke apakah Anda diizinkan untuk memperkenalkan faktor-faktor yang tidak loglinear sehubungan dengan parameternya.

— Yaroslav Bulatov

Anda sepenuhnya benar - argumen yang Anda ajukan mengaitkan keluarga eksponensial dengan prinsip entropi maksimum, tetapi tidak ada hubungannya dengan MRF.

Untuk menjawab tiga pertanyaan awal Anda:

Bisakah semua anggota dari keluarga Eksponensial direpresentasikan sebagai MRF?

P (X = x) = \prod_{C \in c l (G)} ϕ_{C} (X_{C} = x_{C})

$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$

c l (G)

$cl(G)$

G

$G$ . Dari definisi ini, Anda dapat melihat bahwa grafik yang sepenuhnya terhubung, walaupun sama sekali tidak informatif, konsisten dengan distribusi apa pun.

Apakah semua anggota MRF dari keluarga Eksponensial?

$are$

$\neq$

Distribusi campuran adalah contoh umum distribusi keluarga non-eksponensial. Pertimbangkan model ruang keadaan Gaussian linier (seperti model Markov tersembunyi, tetapi dengan status tersembunyi terus menerus dan transisi Gaussian dan distribusi emisi). Jika Anda mengganti kernel transisi dengan campuran Gaussians, distribusi yang dihasilkan tidak lagi dalam keluarga eksponensial (tetapi masih mempertahankan karakteristik struktur independensi bersyarat kaya dari model grafis praktis).

[1] http://en.wikipedia.org/wiki/Markov_random_field

— Drew
sumber