Secara kualitatif apa itu Cross Entropy

Pertanyaan ini memberikan definisi kuantitatif tentang entropi silang, dalam hal rumusnya.

Saya mencari definisi yang lebih jelas, kata wikipedia:

Dalam teori informasi, entropi silang antara dua distribusi probabilitas mengukur jumlah rata-rata bit yang diperlukan untuk mengidentifikasi suatu peristiwa dari serangkaian kemungkinan, jika skema pengkodean digunakan berdasarkan distribusi probabilitas yang diberikan q, daripada distribusi "benar". .

Saya telah menekankan bagian yang memberi saya kesulitan dalam memahami hal ini. Saya ingin definisi yang bagus yang tidak memerlukan pemahaman Entropi yang terpisah (sudah ada).

entropy information-theory

— Lyndon White
sumber

Anda meminta definisi cross -entropy yang, pada saat yang sama, akan mendefinisikan entropi itu sendiri. Dan secara intuitif begitu ... Jika Anda mengalami kesulitan memahami konsep Entropy itu sendiri, itu akan menjadi ide yang baik untuk terlebih dahulu memahami konsep dasar dan kemudian salah satu dari ekstensi itu.

— Alecos Papadopoulos

Secara pribadi saya memiliki pemahaman dasar tentang Entropy (meskipun sudah hampir 12 bulan sejak saya menerapkannya). Tetapi ekspresi Entropy yang kuantitatif, harus sesuai dalam satu paragraf pendek, dan cross entropy hanya perlu satu lagi. Jadi saya merasa jawaban yang baik dapat mencakup keduanya, sehingga pembaca tidak perlu merujuk tempat lain untuk memahaminya.

— Lyndon White

Lihat posting terkait: stats.stackexchange.com/questions/66186/… dan stats.stackexchange.com/questions/188903/…

— kjetil b halvorsen

Untuk menyandikan peristiwa yang terjadi dengan probabilitas Anda memerlukan setidaknya bit (mengapa? Lihat jawaban saya pada "Apa peran logaritma dalam entropi Shannon?" ). $p$ $\log_2(1/p)$

Jadi dalam pengkodean optimal, panjang rata-rata pesan yang dikodekan adalah yaitu,Shannon entropydari distribusi probabilitas asli.

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}}),

$\sum_i p_i \log_2(\tfrac{1}{p_i}),$

$P$ $Q$

\sum_{i} p_{i} code_length(i) = \sum_{i} p_{i} \log_{2} (\frac{1}{q_{i}}),

$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}})

$\sum_i p_i \log_2(\tfrac{1}{p_i})$

$P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$

Kemudian jika kita ingin menyandikannya secara optimal, kita menyandikan A sebagai 0 dan B sebagai 1, jadi kita mendapatkan satu pesan yang disandikan per satu huruf. (Dan itu adalah persisnya Shannon entropi dari distribusi probabilitas kita.)

$P$ $Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$

— Piotr Migdal
sumber

Penjelasan yang bagus, terima kasih. Namun, definisi wikipedia adalah sum_i [p_i * log (q_i)]. Penggunaan 1 / q_i Anda memberikan jumlah status yang memungkinkan, karenanya log_2 mengonversinya menjadi jumlah bit yang diperlukan untuk menyandikan simbol tunggal, tetapi halaman wikipedia menggambarkan sesuatu yang agak berbeda.

— redcalx

1 / q_{i}

$1/q_i$

\log (1 / q_{i}) = - \log (q_{i})

$\log(1/q_i)=-\log(q_i)$