Apa perbedaan Cross-entropy dan KL divergence?

Kedua Cross-entropy dan KL divergence adalah alat untuk mengukur jarak antara dua distribusi probabilitas. Apa bedanya?

$$H(P,Q) = -\sum_x P(x)\log Q(x)$$ $$KL(P | Q) = \sum_{x} P(x)\log {\frac{P(x)}{Q(x)}}$$ Selain itu, minimalisasi KL setara dengan minimalisasi Cross-Entropy.

Saya ingin mengenal mereka secara naluriah.

Terima kasih banyak sebelumnya.

Anda akan memerlukan beberapa kondisi untuk mengklaim kesetaraan antara meminimalkan entropi silang dan meminimalkan divergensi KL. Saya akan meletakkan pertanyaan Anda di bawah konteks masalah klasifikasi menggunakan cross entropy sebagai fungsi kerugian.

Mari kita ingat bahwa entropi digunakan untuk mengukur ketidakpastian sistem, yang didefinisikan sebagai

$$\begin{equation} S(v)=-\sum_ip(v_i)\log p(v_i)\label{eq:entropy}, \end{equation}$$ untuk $p(v_i)$ sebagai probabilitas dari berbagai negara $v_i$dari sistem. Dari sudut pandang teori informasi,$S(v)$ adalah jumlah informasi yang diperlukan untuk menghilangkan ketidakpastian.

Misalnya, acara A I will die eventuallyhampir pasti (mungkin kita dapat memecahkan masalah penuaan kata almost), oleh karena itu memiliki entropi rendah yang hanya memerlukan informasi the aging problem cannot be solveduntuk membuatnya yakin. Namun, peristiwa B The president will die in 50 yearsjauh lebih tidak pasti daripada A, sehingga perlu lebih banyak informasi untuk menghilangkan ketidakpastian.

Sekarang lihat definisi KL divergensi antara peristiwa A dan B

$$\begin{equation} D_{KL}(A\parallel B) = \sum_ip_A(v_i)\log p_A(v_i) - p_A(v_i)\log p_B(v_i)\label{eq:kld}, \end{equation}$$ di mana istilah pertama dari sisi kanan adalah entropi peristiwa A, istilah kedua dapat diartikan sebagai harapan dari peristiwa B dalam hal peristiwa A. Dan $D_{KL}$ menggambarkan betapa berbedanya B dari A dari perspektif A.

Untuk menghubungkan cross entropy dengan entropy dan KL divergence, kami meresmikan cross entropy dalam hal peristiwa A dan B sebagai

$$\begin{equation} H(A, B) = -\sum_ip_A(v_i)\log p_B(v_i)\label{eq:crossentropy}. \end{equation}$$ Dari definisi, kita dapat dengan mudah melihat $$\begin{equation} H(A, B) = D_{KL}(A\parallel B)+S_A\label{eq:entropyrelation}. \end{equation}$$ Jika $S_A$ adalah konstan, kemudian diminimalkan $H(A, B)$ setara dengan meminimalkan $D_{KL}(A\parallel B)$.

Pertanyaan selanjutnya mengikuti secara alami bagaimana entropi dapat berupa konstanta. Dalam tugas pembelajaran mesin, kita mulai dengan dataset (dilambangkan sebagai$P(\mathcal D)$) yang merupakan masalah yang harus dipecahkan, dan tujuan pembelajaran adalah untuk membuat model estimasi distribusi (dilambangkan sebagai $P(model)$) sedekat mungkin dengan distribusi masalah yang sebenarnya (dilambangkan sebagai $P(truth)$). $P(truth)$ tidak diketahui dan diwakili oleh $P(\mathcal D)$. Karena itu di dunia yang ideal, kami harapkan

$$\begin{equation} P(model)\approx P(\mathcal D) \approx P(truth) \end{equation}$$ dan meminimalkan $D_{KL}(P(\mathcal D)\parallel P(model))$. Dan untungnya, dalam latihan$\mathcal D$ diberikan, yang berarti entropinya $S(D)$ ditetapkan sebagai konstanta.

Saya kira itu karena model biasanya bekerja dengan sampel yang dikemas dalam mini-batch. Untuk KL divergence dan Cross-Entropy, relasinya dapat ditulis sebagai

$$H(q, p) = D_{KL}(p, q)+H(p) = -\sum_i{p_ilog(q_i)}$$ Dari persamaan tersebut, kita dapat melihat bahwa divergensi KL dapat berangkat ke Entropi Silang p dan q (bagian pertama), dan entropi global kebenaran tanah p (bagian kedua).

Di banyak proyek pembelajaran mesin, minibatch terlibat untuk mempercepat pelatihan, di mana $p'$ dari minibatch mungkin berbeda dari global $p$. Dalam kasus seperti itu, Cross-Entropy relatif lebih kuat dalam praktiknya sementara divergensi KL membutuhkan H (p) yang lebih stabil untuk menyelesaikan pekerjaannya.

Inilah yang saya pikirkan:

$$D_{KL}(p(y_i | x_i) \:||\: q(y_i | x_i, \theta)) = H(p(y_i | x_i, \theta), q(y_i | x_i, \theta)) - H(p(y_i | x_i, \theta)) \tag{1}\label{eq:kl}$$

dimana $p$ dan $q$adalah dua distribusi probabilitas. Dalam pembelajaran mesin, kita biasanya tahu$p$, yang merupakan distribusi target. Misalnya, dalam masalah klasifikasi biner,$\mathcal{Y} = \{0, 1\}$, jadi jika $y_i = 1$, $p(y_i = 1 | x) = 1$ dan $p(y_i = 0 | x) = 0$, dan sebaliknya. Diberikan masing-masing$y_i \: \forall \: i = 1, 2, \ldots, N$dimana $N$ adalah jumlah total poin dalam dataset, kami biasanya ingin meminimalkan perbedaan KL $D_{KL}(p,q)$ antara distribusi target $p(y_i | x)$ dan perkiraan distribusi kami $q(y_i | x, \theta)$, dirata-rata atas semua $i$. (Kami melakukannya dengan menyetel parameter model kami$\theta$. Jadi, untuk setiap contoh pelatihan, model ini memuntahkan distribusi di atas label kelas$0$ dan $1$.) Untuk setiap contoh, karena target ditetapkan, distribusinya tidak pernah berubah. Jadi,$H(p(y_i | x_i))$ konstan untuk masing-masing $i$, terlepas dari apa parameter model kami saat ini $\theta$adalah. Jadi, minimizer dari$D_{KL}(p,q)$ sama dengan minimizer dari $H(p, q)$.

Jika Anda punya situasi di mana $p$ dan $q$ keduanya variabel (katakanlah, di mana $x_1\sim p$ dan $x_2\sim q$ dua variabel laten) dan ingin mencocokkan kedua distribusi, maka Anda harus memilih antara meminimalkan $D_{KL}$ dan meminimalkan $H(p, q)$. Ini karena meminimalkan$D_{KL}$ menyiratkan memaksimalkan $H(p)$ sambil meminimalkan $H(p, q)$ menyiratkan meminimalkan $H(p)$. Untuk melihat yang terakhir, kita bisa menyelesaikan persamaan ($\ref{eq:kl}$) untuk $H(p,q)$:

$$H(p,q) = D_{KL}(p,q) + H(p) \tag{2}\label{eq:hpq}$$ Yang pertama akan menghasilkan distribusi yang luas untuk $p$sedangkan yang terakhir akan menghasilkan yang terkonsentrasi dalam satu atau beberapa mode. Perhatikan bahwa itu adalah pilihan Anda sebagai praktisi ML apakah Anda ingin meminimalkan$D_{KL}(p, q)$ atau $D_{KL}(q, p)$. Diskusi kecil ini diberikan dalam konteks inferensi variasional (VI) di bawah ini.

Di VI, Anda harus memilih antara meminimalkan $D_{KL}(p,q)$ dan $D_{KL}(q,p)$, yang tidak sama karena divergensi KL tidak simetris. Jika kita sekali lagi mengobati$p$ seperti diketahui, lalu meminimalkan $D_{KL}(p, q)$ akan menghasilkan distribusi $q$ yang tajam dan fokus pada satu atau beberapa area sambil meminimalkan $D_{KL}(q, p)$ akan menghasilkan distribusi $q$ yang luas dan mencakup berbagai domain $q$. Sekali lagi, yang terakhir adalah karena meminimalkan$D_{KL}(q, p)$ menyiratkan memaksimalkan entropi $q$.