Diferensiasi Lintas Entropi

Saya telah mencoba membuat program untuk melatih Neural Networks di komputer saya. Untuk Jaringan yang dimaksud, saya telah memutuskan untuk menggunakan fungsi Cross Entropy Error:

E = - \sum_{j} t_{j} \ln o_{j}

$E = -\sum_jt_j\ln o_j$

Di mana adalah output target untuk Neuron , dan adalah output dari neuron itu, mencoba untuk memprediksi . $t_j$ $j$ $o_j$ $t_j$

Saya ingin tahu apa untuk sebagian Neuron . Intuisi saya (ditambah pengetahuan saya yang terbatas tentang kalkulus) membuat saya percaya bahwa nilai ini seharusnya . $\frac{\delta E}{\delta o_j}$ $j$ $-\frac{t_j}{o_j}$

Namun, ini sepertinya tidak benar. Cross Entropy sering digunakan bersama dengan fungsi softmax, sehingga mana z adalah himpunan input untuk semua neuron dalam lapisan softmax ( lihat di sini ).

o_{j} = \frac{e^{z_{j}}}{\sum_{k} e^{z_{k}}}

$o_j = \frac{e^{z_j}}{\sum_ke^{z_k}}$

Dari file ini , saya kumpulkan bahwa:

\frac{δ o_{j}}{δ z_{j}} = o_{j} (1 - o_{j})

$\frac{\delta o_j}{\delta z_j} = o_j(1 - o_j)$

Menurut pertanyaan ini : Tapi ini bertentangan dengan tebakan saya sebelumnya tentang . Mengapa?

\frac{δ E}{δ z_{j}} = t_{j} - o_{j}

$\frac{\delta E}{\delta z_j} = t_j - o_j$

\frac{δ E}{δ o_{j}}

$\frac{\delta E}{\delta o_j}$

\frac{δ E_{j}}{δ z_{j}} = \frac{δ E_{j}}{δ o_{j}} \frac{δ o_{j}}{δ z_{j}}

$\frac{\delta E_j}{\delta z_j}=\frac{\delta E_j}{\delta o_j}\frac{\delta o_j}{\delta z_j}$

\Rightarrow \frac{δ E_{j}}{δ o_{j}} = \frac{δ E_{j}}{δ z_{j}} \div \frac{δ o_{j}}{δ z_{j}}

$\Rightarrow\frac{\delta E_j}{\delta o_j}=\frac{\delta E_j}{\delta z_j}\div\frac{\delta o_j}{\delta z_j}$

= \frac{t_{j} - o_{j}}{o_{j} (1 - o_{j})}

$= \frac{t_j-o_j}{o_j(1-o_j)}$ bertentangan langsung dengan saya sebelumnya solusi Jadi solusi (jika salah) mana untuk benar, dan mengapa?

- \frac{t_{j}}{o_{j}}

$-\frac{t_j}{o_j}$

\frac{δ E_{j}}{δ o_{j}}

$\frac{\delta E_j}{\delta o_j}$

— Geno Racklin Asher
sumber

Anda adalah benar, tetapi harus ketika , menggunakan hasil yang diberikan dalam pos yang kita miliki ketika jadi adalah $\frac{\partial E}{\partial o_j}$ $\frac{\partial E}{\partial z_j}$

\frac{\partial E}{\partial z_{j}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}}

$\frac{\partial E}{\partial z_j}=\sum_i\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}$

i = j

$i=j$

\frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} = - \frac{t_{j}}{o_{j}} o_{j} (1 - o_{j}) = t_{j} o_{j} - t_{j}

$\frac{\partial E}{\partial o_j}\frac{\partial o_j}{\partial z_j}=-\frac{t_j}{o_j}o_j(1-o_j)=t_jo_j-t_j$

i \neq j

$i\neq j$

\frac{\partial o_{i}}{\partial z_{j}} = \frac{\partial \frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}}}{\partial z_{j}} = - \frac{e^{z_{i}}}{(\sum_{k} e^{z_{k}})^{2}} e^{z_{j}} = - o_{i} o_{j}

$\frac{\partial o_i}{\partial z_j}=\frac{\partial \frac{e^{z_i}}{\sum_ke^{z_k}}}{\partial z_j}=-\frac{e^{z_i}}{(\sum_ke^{z_k})^2}e^{z_j}=-o_io_j$

\frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}} = - \frac{t_{i}}{o_{i}} (- o_{i} o_{j}) = t_{i} o_{j}

$\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}=-\frac{t_i}{o_i}(-o_io_j)=t_io_j$

\frac{\partial E}{\partial z_{j}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}} = \sum_{i} t_{i} o_{j} - t_{j}

$\frac{\partial E}{\partial z_j}=\sum_i\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}=\sum_it_io_j-t_j$ karena adalah satu- vektor panas, karena itu juga melihat pertanyaan ini .

t

$t$

\sum_{i} t_{i} = 1

$\sum_it_i=1$

\frac{\partial E}{\partial z_{j}} = o_{j} - t_{j}

$\frac{\partial E}{\partial z_j}=o_j-t_j$

— dontloo
sumber