Di Kneser-Ney smoothing, bagaimana kata-kata yang tidak terlihat ditangani?

Dari apa yang saya lihat, formula smoothing Kneser-Ney (dalam urutan kedua) dalam beberapa hal diberikan sebagai

$\begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align}$

dengan faktor normalisasi diberikan sebagai$\lambda(w_{n-1})$

$\begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align}$

dan probabilitas kelanjutan dari sebuah kataw $P_{cont}(w_n)$$w_n$

$\begin{align} P_{cont}(w_n) &= \frac{N_{1+}\left(\bullet w_{n}\right)}{\sum_{w'} N_{1+}\left(\bullet w'\right)} \end{align}$

di mana adalah jumlah konteks terlihat di atau, lebih sederhana, jumlah kata yang berbeda yang mendahului kata yang diberikan . Dari apa yang saya mengerti, rumusnya dapat diterapkan secara rekursif. w ∙ $N_{1+}\left(\bullet w\right)$$w$$\bullet$$w$

Sekarang ini menangani kata-kata yang dikenal dalam konteks yang tidak diketahui dengan baik untuk panjang n-gram yang berbeda, tetapi apa yang tidak dijelaskan adalah apa yang harus dilakukan ketika ada kata-kata di luar kamus. Saya mencoba mengikuti contoh ini yang menyatakan bahwa dalam langkah rekursi untuk unigram, . Dokumen kemudian menggunakan ini - mengutip Chen dan Goodman - untuk membenarkan rumus di atas sebagai . P 1 K N (w)=Pcont(w$P_{cont}(/) = P^0_{KN}(/) = \frac{1}{V}$$P^1_{KN}(w) = P_{cont}(w)$

Saya gagal melihat cara kerjanya di hadapan kata yang tidak diketahui . Dalam kasus ini karena, jelas, kata yang tidak diketahui tidak melanjutkan apa pun mengenai set pelatihan. Demikian juga jumlah n-gram akan menjadi .P c o n t ( tidak diketahui ) = $w = \text{unknown}$$P_{cont}(\text{unknown}) = \frac{0}{\text{something}}$$C\left(w_{n-1}, \text{unknown}\right) = 0$

Selain itu, seluruh istilah mungkin nol jika urutan kata-kata yang tidak dikenal - katakanlah, trigram kata-kata OOD - dijumpai.$\sum_{w'} C\left(w_{n-1}, w'\right)$

Apa yang saya lewatkan?

Dan Jurafsky telah menerbitkan bab tentang model N-Gram yang berbicara sedikit tentang masalah ini:

Pada penghentian rekursi, unigrams diinterpolasi dengan distribusi seragam:

$\begin{align} P_{KN}(w) = \frac{\max(c_{KN}(w)-d,0)}{\sum_{w'}c_{KN}(w')}+\lambda(\epsilon)\frac{1}{|V|} \end{align}$

Jika kita ingin memasukkan kata yang tidak dikenal <UNK>, itu hanya dimasukkan sebagai entri kosakata reguler dengan hitung nol, dan karenanya kemungkinannya adalah:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} \end{align}$

Saya sudah mencoba mencari tahu apa artinya ini, tetapi saya tidak yakin apakah berarti lim x → 0 x . Jika ini masalahnya, dan Anda menganggap bahwa ketika penghitungannya menjadi nol, mungkin λ ( ϵ ) menjadi d , menurut:$\epsilon$$\lim_{x\rightarrow0}x$$\lambda(\epsilon)$$d$

$\begin{align} \lambda(w_{i-1}) = \frac{d}{c(w_{i-1})}\vert\{w:c(w_{i-1},w)>0\}\vert \end{align}$

maka kata yang tidak dikenal hanya akan diberikan sebagian kecil dari diskon, yaitu:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} = \frac{d}{|V|} \end{align}$

Saya sama sekali tidak yakin dengan jawaban ini, tetapi ingin mengeluarkannya kalau-kalau ada pemikiran lagi.

$\epsilon$$\lambda$$\frac{d}{|V|}$

Ada banyak cara untuk melatih seorang model dengan <UNK>meskipun Jurafsky menyarankan untuk memilih kata-kata yang terjadi sangat sedikit dalam pelatihan dan hanya mengubahnya <UNK>.

Kemudian cukup latih probabilitas seperti yang biasa Anda lakukan.

Lihat video ini mulai pukul 3:40 -

https://class.coursera.org/nlp/lecture/19

Pendekatan lain adalah dengan hanya menganggap kata sebagai <UNK>pertama kalinya hal itu terlihat dalam pelatihan, meskipun dari pengalaman saya pendekatan ini memberikan terlalu banyak probabilitas <UNK>.

Hanya beberapa pemikiran, saya jauh dari menjadi ahli dalam masalah ini jadi saya tidak bermaksud memberikan jawaban atas pertanyaan tetapi untuk menganalisisnya.

$\lambda(\epsilon)$$\lambda(\epsilon)$

Another option would be to estimate the <unk> probability with the methods mentioned by Randy and treating it as a regular token.

I think this step is made to ensure that the formulas are consistent. Notice that the term $\frac{\lambda(\epsilon)}{|V|}$ does not depend on the context and assigns fixed values to the probabilities of every token. If you want to predict the next word you can prescind this term, on the other hand if you want to compare the Kneser - Ney probability assigned to each token under two or more different contexts you might want to use it.