Bagaimana model skip-gram Word2Vec menghasilkan vektor output?

11

Saya mengalami masalah dalam memahami model skip-gram dari algoritma Word2Vec.

Dalam kata-kata kontinyu mudah untuk melihat bagaimana kata konteks dapat "cocok" di Neural Network, karena Anda pada dasarnya meratakannya setelah mengalikan masing-masing representasi pengodean satu-panas dengan matriks input W.

Namun, dalam kasus lompatan-gram, Anda hanya mendapatkan vektor kata input dengan mengalikan encoding satu-panas dengan matriks input dan kemudian Anda seharusnya mendapatkan representasi vektor C (= ukuran jendela) untuk kata konteks dengan mengalikan representasi vektor input dengan matriks output W '.

Yang saya maksud adalah, memiliki kosakata ukuran dan pengkodean ukuran , matriks masukan dan sebagai matriks keluaran. Diberi kata dengan pengkodean satu-panas dengan kata konteks dan (dengan repetisi satu-panas dan ), jika Anda mengalikan dengan matriks input Anda mendapatkan $V$ $N$ $W \in \mathbb{R}^{V\times N}$ $W' \in \mathbb{R}^{N\times V}$ $w_i$ $x_i$ $w_j$ $w_h$ $x_j$ $x_h$ $x_i$ $W$ , sekarang bagaimana Anda menghasilkanvektor skor dari ini? ${\bf h} := x_i^TW = W_{(i,\cdot)} \in \mathbb{R}^N$ $C$

— crscardellino
sumber

7

Saya memiliki masalah yang sama memahaminya. Tampaknya vektor skor output akan sama untuk semua istilah C. Tetapi perbedaan kesalahan dengan masing-masing vektor panas yang diwakili akan berbeda. Dengan demikian vektor kesalahan digunakan dalam back-propagation untuk memperbarui bobot.

Harap perbaiki saya, jika saya salah.

sumber: https://iksinc.wordpress.com/tag/skip-gram-model/

— yazhi
sumber

jadi

?

W^{'} \in R^{N \times (V * C)}

$W' \in \mathbb{R}^{N\times (V*C)}$

— Fabich

0

Dalam kedua model, nilai output tergantung pada fungsi skor yang Anda gunakan. Mungkin ada dua fungsi skor softmax atau pengambilan sampel negatif. Jadi, Anda menggunakan fungsi skor softmax. Anda akan mendapatkan ukuran fungsi skor N * D. Di sini D adalah dimensi vektor kata. N adalah jumlah contoh. Setiap kata seperti kelas dalam arsitektur jaringan syaraf.

— Shamane Siriwardhana
sumber

0

$k_{th}$ $k_{th}$

Skor untuk setiap kata dihitung dengan persamaan berikut.

$u = \mathcal{W'}^Th$

$\mathcal{W'}$ $u$ $\mathcal{C}$ $\mathcal{C}$

$p(w_{c,j} = w_{O,c}|w_I)=\frac{\exp{u_{c,j}}}{\sum_{j'=1}^V\exp{u_{j'}}}$

$\mathcal{C}$

$u$ $\mathcal{C}$

$\textbf{References:}$

Xin Rong, Penjelasan Parameter Word2Vec Dijelaskan

— pengguna3108764
sumber

Jadi matriks W pada dasarnya adalah kata vektor (output dari algoritma), dan W 'adalah matriks yang sama sekali berbeda yang kita buang?

— Nadav B

W 'juga vektor kata yang sama-sama baik.

— user3108764

1

p (w_{c, j} = w_{O, c} | w_{I}) = \frac{\exp u_{c, j}}{\sum_{j^{'} = 1}^{V} \exp u_{j^{'}}} = \frac{\exp u_{j}}{\sum_{j^{'} = 1}^{V} \exp u_{j^{'}}}

$p(w_{c,j} = w_{O,c}|w_I)=\frac{\exp{u_{c,j}}}{\sum_{j'=1}^V\exp{u_{j'}}}=\frac{\exp{u_{j}}}{\sum_{j'=1}^V\exp{u_{j'}}}$