Perbedaan KL antara duaausa multivarian

Saya mengalami kesulitan memperoleh rumus divergensi KL dengan asumsi dua distribusi normal multivariat. Saya sudah melakukan kasus univariat dengan cukup mudah. Namun, sudah cukup lama sejak saya mengambil statistik matematika, jadi saya mengalami kesulitan untuk memperluasnya ke kasus multivarian. Saya yakin saya hanya melewatkan sesuatu yang sederhana.

Inilah yang saya miliki ...

Misalkan dan adalah pdf dari distribusi normal dengan mean dan dan varians dan , masing-masing. Jarak Kullback-Leibler dari ke adalah: $p$ $q$ $\mu_1$ $\mu_2$ $\Sigma_1$ $\Sigma_2$ $q$ $p$

$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$ , yang untuk dua normals multivarian adalah:

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

Mengikuti logika yang sama dengan bukti ini , saya sampai di sini sebelum saya buntu:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

Saya pikir saya harus menerapkan trik jejak , tetapi saya tidak yakin apa yang harus dilakukan setelah itu. Setiap petunjuk bermanfaat untuk mengembalikan saya ke jalur yang benar akan sangat dihargai!

normal-distribution kullback-leibler proof

— dmartin
sumber

stanford.edu/~jduchi/projects/general_notes.pdf . Bagian terakhir juga memberikan derivasi.

— user3540823

Dimulai dengan di mana Anda mulai dengan sedikit koreksi, kita bisa menulis

\begin{aligned} K L & = \int [\frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} (x - μ_{1})^{T} Σ_{1}^{- 1} (x - μ_{1}) + \frac{1}{2} (x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \times p (x) d x \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {E [(x - μ_{1}) (x - μ_{1})^{T}] Σ_{1}^{- 1}} + \frac{1}{2} E [(x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {I_{d}} + \frac{1}{2} (μ_{1} - μ_{2})^{T} Σ_{2}^{- 1} (μ_{1} - μ_{2}) + \frac{1}{2} tr {Σ_{2}^{- 1} Σ_{1}} \\ = \frac{1}{2} [\log \frac{| Σ_{2} |}{| Σ_{1} |} - d + tr {Σ_{2}^{- 1} Σ_{1}} + (μ_{2} - μ_{1})^{T} Σ_{2}^{- 1} (μ_{2} - μ_{1})] . \end{aligned}

$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$

Perhatikan bahwa saya telah menggunakan beberapa properti dari Bagian 8.2 dari Matrix Cookbook .

— ramhiser
sumber

Saya melihat Anda mengeluarkan D yang saya miliki awalnya. Tidakkah Anda memiliki istilah D setelah mengambil log Gaussian dalam beberapa langkah pertama?

— dmartin

Pertimbangkan faktor penskalaan , dari kepadatan normal multivariat. Saat menghitung perbedaan log, istilah hilang. Tidak ada istilah untuk determinan - cukup, , yang diperhitungkan.

(2 π)^{- d / 2} | Σ_{k} |^{- 1 / 2}

$(2\pi)^{-d/2} |\Sigma_k|^{-1/2}$

k = 1, 2

$k = 1,2$

(2 π)^{- d / 2}

$(2\pi)^{-d/2}$

d

$d$

1 / 2

$1/2$

— ramhiser

Tidak masalah sama sekali. Senang bisa membantu.

— ramhiser

Hai, bagaimana Anda membuat langkah terakhir? Bagaimana Anda mengubah tanda menjadi ?

μ_{1} - μ_{2}

$\mu_1 - \mu_2$

μ_{2} - μ_{1}

$\mu_2 - \mu_1$

— acidghost

@acidghost Salah satu berfungsi karena kita dapat memperhitungkan faktor negatif dari kedua sisi. Mengalikan dua yang negatif menghasilkan yang positif.

— ramhiser