Entri Silang atau Kemungkinan Log di lapisan Output

Saya membaca halaman ini: http://neuralnetworksanddeeplearning.com/chap3.html

dan dikatakan bahwa lapisan keluaran sigmoid dengan cross-entropy cukup mirip dengan lapisan keluaran softmax dengan kemungkinan log.

apa yang terjadi jika saya menggunakan sigmoid dengan log-likelihood atau softmax dengan cross entropy pada layer output? itu baik? karena saya melihat hanya ada sedikit perbedaan dalam persamaan antara cross entropy (eq.57):

C = - \frac{1}{n} \sum_{x} (y \ln a + (1 - y) \ln (1 - a))

$C = -\frac{1}{n} \sum\limits_x (y \ln a + (1-y) \ln (1-a))$

dan catat kemungkinan (eq.80):

C = - \frac{1}{n} \sum_{x} (\ln a_{y}^{L})

$C =-\frac{1}{n} \sum\limits_x(\ln a^L_y)$

neural-networks maximum-likelihood softmax

— malioboro
sumber

Kemungkinan log negatif (mis., 80) juga dikenal sebagai lintas-entropi multiklass (ref: Pengenalan Pola dan Bagian Pembelajaran Mesin 4.3.4), karena mereka sebenarnya dua interpretasi berbeda dari formula yang sama.

eq.57 adalah kemungkinan log negatif dari distribusi Bernoulli, sedangkan eq.80 adalah kemungkinan log negatif dari distribusi multinomial dengan satu pengamatan (versi multichlass dari Bernoulli).

Untuk masalah klasifikasi biner, fungsi softmax menampilkan dua nilai (antara 0 dan 1 dan jumlah ke 1) untuk memberikan prediksi setiap kelas. Sedangkan fungsi sigmoid menghasilkan satu nilai (antara 0 dan 1) untuk memberikan prediksi satu kelas (sehingga kelas lainnya adalah 1-p).

Jadi, eq.80 tidak bisa langsung diterapkan pada output sigmoid, meskipun pada dasarnya sama dengan eq.57.

Lihat juga jawaban ini .

Berikut ini adalah ilustrasi sederhana koneksi antara (sigmoid + binary cross-entropy) dan (softmax + multiclass cross-entropy) untuk masalah klasifikasi biner.

$0.5$

σ (w x + b) = 0,5

$\sigma(wx+b)=0.5$

w x + b = 0

$wx+b=0$

\frac{e^{w_{1} x + b_{1}}}{e^{w_{1} x + b_{1}} + e^{w_{2} x + b_{2}}} = 0,5

$\frac{e^{w_1x+b_1}}{e^{w_1x+b_1}+e^{w_2x+b_2}}=0.5$

e^{w_{1} x + b_{1}} = e^{w_{2} x + b_{2}}

$e^{w_1x+b_1}=e^{w_2x+b_2}$

w_{1} x + b_{1} = w_{2} x + b_{2}

$w_1x+b_1=w_2x+b_2$

(w_{1} - w_{2}) x + (b_{1} - b_{2}) = 0

$(w_1-w_2)x+(b_1-b_2)=0$

Berikut ini menunjukkan batas-batas keputusan yang diperoleh dengan menggunakan dua metode ini, yang hampir identik.

— dontloo
sumber

Persamaan manakah yang Anda maksud? Dalam buku itu, persamaan diberi nomor berbeda. Mungkin ini edisi khusus buku itu? Bisakah Anda mengklarifikasi ini? Saya melihat buku di users.isr.ist.utl.pt/ ~wurmd/Livros/school/… , halaman 209 (bagian 4.3.4).

— nbro

@nbro ah maaf atas kebingungan, maksud saya persamaan di halaman terkait yang diberikan dalam pertanyaan.

— dontloo