Bingung dan lintas-entropi untuk model n-gram

10

Mencoba memahami hubungan antara entropi-silang dan kebingungan. Secara umum untuk model M , Perplexity (M) = 2 ^ entropy (M) . Apakah hubungan ini berlaku untuk semua n-gram yang berbeda, yaitu unigram, bigram, dll.?

natural-language entropy perplexity

— Margalit
sumber

Itu sebenarnya definisi kebingungan; hal hal diturunkan dari itu;)

\sqrt[N]{Π_{i = 1}^{N} \frac{1}{P (w_{i} | w_{1}, . . . w_{i - 1})}}

$\sqrt[N]{\Pi^N_{i=1} \frac{1}{P(w_i|w_1, ... w_{i-1})}}$

— WavesWashSands

9

Ya, kebingungan selalu sama dengan dua dengan kekuatan entropi. Tidak masalah apa jenis model yang Anda miliki, n-gram, unigram, atau jaringan saraf.

Ada beberapa alasan mengapa pemodelan bahasa orang suka kebingungan daripada hanya menggunakan entropi. Salah satunya adalah bahwa, karena eksponen, perbaikan dalam kebingungan "merasa" seperti mereka lebih besar daripada peningkatan setara dalam entropi. Lain adalah bahwa sebelum mereka mulai menggunakan kebingungan, kompleksitas model bahasa dilaporkan menggunakan pengukuran faktor percabangan sederhana yang lebih mirip dengan kebingungan daripada untuk entropi.

— Harun
sumber

1

Setuju dengan jawaban @ Harun dengan sedikit modifikasi:

Itu tidak selalu sama dengan dua dengan kekuatan entropi. Sebenarnya, itu akan menjadi (dasar untuk log) dengan kekuatan entropi. Jika Anda telah menggunakan e sebagai basis Anda, maka itu akan menjadi e entropi.

— Prashant Gupta
sumber