42

Saya menemukan istilah kebingungan yang mengacu pada probabilitas invers log-rata pada data yang tidak terlihat. Artikel Wikipedia tentang kebingungan tidak memberikan makna intuitif untuk hal yang sama.

Ukuran kebingungan ini digunakan dalam kertas pLSA .

Adakah yang bisa menjelaskan kebutuhan dan makna intuitif dari ukuran kebingungan ?

measurement perplexity

— Pelajar
sumber

Bagaimana cara menghitung kebingungan untuk pLSA. Saya memiliki datamatrix yang memiliki hitungan dan dengan algoritma TEM dan dihitung.

X

$X$

p (d)

$p(d)$

p (w | d)

$p(w|d)$

— Pelajar

3

Saya telah memeriksa indeks 5 buku penambangan / pembelajaran mesin / buku analisis prediktif oleh Nisbett, Larose, Witten, Torgo, dan Shemueli (plus rekan penulis) dan istilah ini tidak muncul di salah satu di antaranya. Saya bingung :)

— zbicyclist

1

Kebingungan adalah nama lain untuk ketidakpastian. Ini dapat dianggap sebagai evaluasi intrinsik terhadap evaluasi ekstrinsik. Jan Jurafsky menjelaskannya secara elegan dengan contoh-contoh sesuai dengan pemodelan bahasa di sini di youtube.com/watch?v=BAN3NB_SNHY

— bicepjai

2

@ zbicyclist, Jika Anda mencari contoh di alam bebas, ini sangat umum di NLP, dan khusus untuk evaluasi hal-hal seperti model bahasa.

— Matt Krause

Dalam beberapa bidang (misalnya ekonomi) orang berbicara tentang angka yang setara sehingga misalnya mana adalah entropi berdasarkan logaritma natural adalah jumlah yang setara dari kategori umum yang sama. Jadi, masing-masing dua kategori dengan probabilitas 0,5 menghasilkan entropi pada dan eksponensial kembali 2 sebagai jumlah kategori yang sama-sama umum. Untuk probabilitas yang tidak setara, angka-angka yang setara pada umumnya bukan bilangan bulat.

\exp (H)

$\exp(H)$

H

$H$

\ln 2

$\ln 2$

— Nick Cox

21

Anda telah melihat artikel Wikipedia tentang kebingungan . Ini memberikan kebingungan distribusi diskrit sebagai

2^{- \sum_{x} hal (x) \log_{2} hal (x)}

$2^{-\sum_x p(x)\log_2 p(x)}$

yang juga bisa ditulis sebagai

\exp (\sum_{x} p (x) \log_{e} \frac{1}{p (x)})

$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$

yaitu sebagai rata-rata geometri tertimbang dari invers probabilitas. Untuk distribusi kontinu, jumlah tersebut akan berubah menjadi integral.

Artikel ini juga memberikan cara memperkirakan kebingungan untuk model menggunakan buah data uji $N$

2^{- \sum_{i = 1}^{N} \frac{1}{N} \log_{2} q (x_{i})}

$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$

yang juga bisa ditulis

\exp (\frac{\sum_{i = 1}^{N} \log_{e} (\frac{1}{q (x_{i})})}{N}) or \sqrt[N]{\prod_{i = 1}^{N} \frac{1}{q (x_{i})}}

$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$

atau dalam berbagai cara lain, dan ini harus membuatnya lebih jelas dari mana "probabilitas invers log-rata" berasal.

— Henry
sumber

Apakah ada perbedaan khusus antara kapan e digunakan sebagai eksponen daripada 2?

— Henry E

2

@HenryE: tidak ada, dan logaritma umum mendasarkan

akan bekerja juga - logaritma di basis yang berbeda sebanding dengan satu sama lain dan jelas

10

$10$

a^{\log_{a} x} = b^{\log_{b} x}

$a^{\log_a x} = b^{\log_b x}$

— Henry

Saya pikir banyak. Saya menemukan jawaban ini ketika saya mencoba untuk memahami mengapa sepotong kode menggunakan e untuk menghitung kebingungan ketika semua formulasi lain yang sebelumnya saya lihat telah menggunakan 2. Saya menyadari sekarang betapa pentingnya untuk mengetahui apa nilai suatu kerangka kerja menggunakan sebagai dasar untuk perhitungan kehilangan log

— Henry E

27

Saya menemukan ini agak intuitif:

Kebingungan dari apa pun yang Anda evaluasi, pada data yang Anda evaluasi, semacam memberitahu Anda "hal ini benar tentang sesering x-side sided."

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

— panda di mana saja
sumber

Itu artikel yang menarik; mungkin tidak begitu mendalam tapi pengantar yang bagus dibaca.

— Monica Heddneck

1

Saya juga menemukan artikel ini bermanfaat, jamesmccaffrey.wordpress.com/2016/08/16/...

— user2561747

11

Saya juga bertanya-tanya. Penjelasan pertama tidak buruk, tetapi di sini ada 2 nats saya untuk apa pun yang layak.

Pertama-tama, kebingungan tidak ada hubungannya dengan mengkarakterisasi seberapa sering Anda menebak sesuatu dengan benar. Ini lebih berkaitan dengan mengkarakterisasi kompleksitas urutan stokastik.

Kami sedang melihat kuantitas,

2^{- \sum_{x} p (x) \log_{2} p (x)}

$2^{-\sum_x p(x)\log_2 p(x)}$

Pertama-tama mari kita batalkan log dan eksponensial.

2^{- \sum_{x} p (x) \log_{2} p (x)} = \frac{1}{\prod_{x} p (x)^{p (x)}}

$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$

Saya pikir ada baiknya menunjukkan bahwa kebingungan adalah invarian dengan basis yang Anda gunakan untuk mendefinisikan entropi. Jadi dalam hal ini, kebingungan jauh lebih unik / kurang sewenang-wenang daripada entropi sebagai ukuran.

Hubungan dengan Dadu

Mari kita bermain dengan ini sedikit. Katakanlah Anda hanya melihat koin. Ketika koin itu adil, entropi maksimum, dan kebingungan maksimum

\frac{1}{{\frac{1}{2}}^{\frac{1}{2}} \times {\frac{1}{2}}^{\frac{1}{2}}} = 2

$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$

Sekarang apa yang terjadi ketika kita melihat dadu berpihak $N$ ? Bingung adalah

\frac{1}{{({\frac{1}{N}}^{\frac{1}{N}})}^{N}} = N

$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$

Jadi kebingungan mewakili jumlah sisi dadu yang adil yang ketika digulung, menghasilkan urutan dengan entropi yang sama dengan distribusi probabilitas yang Anda berikan.

Jumlah Negara

$N$ $N+1$ $N$ $\epsilon$ $N$ $N + 1$ $\epsilon$ $N$ $x$ $p_x$ $N$

p_{x}^{'} = p_{x} (1 - ϵ)

$p^\prime_x=p_x\left(1-\epsilon\right)$

\frac{1}{ϵ^{ϵ} \prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}}} = \frac{1}{ϵ^{ϵ} \prod_{x}^{N} {(p_{x} (1 - ϵ))}^{p_{x} (1 - ϵ)}} = \frac{1}{ϵ^{ϵ} \prod_{x}^{N} p_{x}^{p_{x} (1 - ϵ)} {(1 - ϵ)}^{p_{x} (1 - ϵ)}} = \frac{1}{ϵ^{ϵ} {(1 - ϵ)}^{(1 - ϵ)} \prod_{x}^{N} p_{x}^{p_{x} (1 - ϵ)}}

$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$

$\epsilon\rightarrow 0$

\frac{1}{\prod_{x}^{N} {p_{x}}^{p_{x}}}

$\frac{1}{\prod_x^N {p_x}^{p_x}}$

Jadi, ketika Anda membuat membuat satu sisi dadu semakin tidak mungkin, kebingungan akhirnya tampak seolah-olah sisi itu tidak ada.

— Alex Eftimiades
sumber

3

Tentunya itu hanya bernilai ~ 1,39 nats?

— Matt Krause

\prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}} = (1 - ϵ)^{1 - ϵ} \prod_{x}^{N} {p_{x}}^{p_{x} (1 - ϵ)}

$\prod_x^N {p^\prime_x}^{p^\prime_x} = (1-\epsilon)^{1-\epsilon}\prod_x^N {p_x}^{p_x(1-\epsilon)}$

\prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}} = \prod_{x}^{N} {(p_{x} (1 - ϵ))}^{p_{x} (1 - ϵ)} = \prod_{x}^{N} {(1 - ϵ)}^{p_{x} (1 - ϵ)} \prod_{x}^{N} {p_{x}}^{p_{x} (1 - ϵ)}

$\prod_x^N {p^\prime_x}^{p^\prime_x} = \prod_x^N {(p_x (1-\epsilon)) }^{p_x(1-\epsilon)} = \prod_x^N {(1-\epsilon) }^{p_x(1-\epsilon)} \prod_x^N {p_x }^{p_x(1-\epsilon)}$

\prod_x^N\left{(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\sum_x^N p_x \left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)\sum_x^N p_x}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}

$\prod_x^N\left{(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\sum_x^N p_x \left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)\sum_x^N p_x}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}$

5

$X$ $X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$

Untuk menjelaskan, kebingungan distribusi X seragam hanya | X |, jumlah elemen. Jika kita mencoba menebak nilai yang akan diambil sampel Iid dari distribusi seragam X dengan hanya membuat tebakan id dari X, kita akan benar 1 / | X | = 1 / kebingungan waktu. Karena distribusi seragam adalah nilai yang paling sulit ditebak, kita dapat menggunakan 1 / kebingungan sebagai perkiraan batas / heuristik yang lebih rendah untuk seberapa sering tebakan kita benar.

— pengguna49404
sumber

Apa itu kebingungan?

Hubungan dengan Dadu

Jumlah Negara