Memotivasi unit output sigmoid dalam jaringan saraf dimulai dengan probabilitas log yang tidak normal linear dalam

12

Latar Belakang: Saya sedang mempelajari Bab 6 Pembelajaran Jauh oleh Ian Goodfellow dan Yoshua Bengio dan Aaron Courville. Pada bagian 6.2.2.2 (halaman 182 dari 183 yang dapat dilihat di sini ) penggunaan sigmoid untuk output termotivasi. $P(y=1|x)$

Untuk meringkas beberapa materi yang mereka biarkan menjadi neuron output sebelum aktivasi diterapkan di mana adalah output dari lapisan tersembunyi sebelumnya, adalah vektor bobot dan adalah bias skalar. Vektor input dinotasikan (yang adalah fungsi dari) dan nilai output dinotasikan mana adalah fungsi sigmoid. Buku ini ingin mendefinisikan distribusi probabilitas di atas menggunakan nilai . Dari paragraf kedua halaman 183:

z = w^{T} h + b

$z = w^Th+b$

h

$h$

w

$w$

b

$b$

x

$x$

h

$h$

y = ϕ (z)

$y=\phi(z)$

ϕ

$\phi$

y

$y$

z

$z$

Kami menghilangkan ketergantungan pada untuk saat ini untuk membahas bagaimana mendefinisikan distribusi probabilitas di atas menggunakan nilai . Sigmoid dapat dimotivasi dengan membangun distribusi probabilitas yang tidak dinormalkan , yang tidak berjumlah 1. Kita kemudian dapat membaginya dengan konstanta yang sesuai untuk mendapatkan distribusi probabilitas yang valid. Jika kita mulai dengan asumsi bahwa probabilitas log yang tidak dinormalisasi adalah linear dalam dan , kita dapat secara eksponensial untuk mendapatkan probabilitas yang tidak dinormalisasi. Kami kemudian menormalkan untuk melihat bahwa ini menghasilkan distribusi Bernoulli yang dikendalikan oleh transformasi sigmoidal z: $x$ $y$ $z$ $\tilde P(y)$ $y$ $z$
$\begin{aligned} \log \tilde{P} (y) & = y z \\ \tilde{P} (y) & = \exp (y z) \\ P (y) & = \frac{\exp (y z)}{\sum_{y^{'} = 0}^{1} \exp (y^{'} z)} \\ P (y) & = ϕ ((2 y - 1) z) \end{aligned}$ $\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$

Pertanyaan: Saya bingung tentang dua hal, terutama yang pertama:

Dari mana asumsi awal berasal? Mengapa probabilitas log yang tidak normal linear dalam dan ? Dapatkah seseorang memberi saya sedikit informasi tentang bagaimana penulis memulai dengan ? $y$ $z$ $\log\tilde P(y) = yz$
Bagaimana mengikuti baris terakhir?

neural-networks deep-learning

— HBeel
sumber

8

Ada dua kemungkinan hasil untuk . Ini sangat penting, karena properti ini mengubah arti perkalian. Ada dua kemungkinan kasus: $y \in \{0, 1\}$

\begin{aligned} \log \tilde{P} (y = 1) & = z \\ \log \tilde{P} (y = 0) & = 0 \end{aligned}

$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$

Selain itu penting untuk memperhatikan bahwa probabilitas logaritmik tidak normal untuk adalah konstan. Properti ini berasal dari asumsi utama. Menerapkan fungsi deterministik apa pun ke nilai konstan akan menghasilkan output konstan. Properti ini akan menyederhanakan formula akhir ketika kita akan melakukan normalisasi atas semua kemungkinan probabilitas, karena kita hanya perlu tahu hanya probabilitas yang tidak dinormalisasi untuk dan untuk selalu konstan. Dan karena output dari jaringan dalam probabilitas logaritmik yang tidak dinormalkan, kita hanya akan memerlukan satu output, karena yang lain diasumsikan konstan. $y=0$ $y=1$ $y=0$

Selanjutnya, kami menerapkan eksponensial ke probabilitas logaritma yang tidak dinormalisasi untuk mendapatkan probabilitas yang tidak dinormalisasi.

\begin{aligned} \tilde{P} (y = 1) & = e^{z} \\ \tilde{P} (y = 0) & = e^{0} = 1 \end{aligned}

$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$

Selanjutnya kita hanya menormalisasi probabilitas yang membagi setiap probabilitas yang tidak dinormalisasi dengan jumlah semua kemungkinan probabilitas yang tidak dinormalisasi.

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} \\ P (y = 0) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$

$P(y=1)$

\begin{aligned} P (y = 1) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{\frac{e^{x} + 1}{e^{x}}} = \frac{1}{1 + \frac{1}{e^{x}}} = \frac{1}{1 + e^{- x}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$

$(2y−1)$ $0$ $-1$ $1$ $1$

P (y) = σ ((2 y - 1) z) = {\begin{cases} σ (z) = \frac{1}{1 + e^{- z}} = \frac{e^{z}}{1 + e^{z}} & when y = 1 \\ σ (- z) = \frac{1}{1 + e^{- (- z)}} = \frac{1}{1 + e^{z}} & when y = 0 \end{cases}

$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$

$\sigma$ $P(y)$

— itdxer
sumber

y = 0

$y=0$

y = 1

$y=1$

y = 1

$y=1$

y \times z

$y\times z$

y

$y$

z

$z$

a y + b z + c

$ay + bz + c$

\log

$\log$

y z

$yz$

Begitu ya, itu sebenarnya pertanyaan yang menarik. Saya tidak memperhatikan pernyataan ini ketika saya membaca pertanyaan untuk pertama kalinya. Sekarang juga terlihat aneh bagi saya. Satu masalah adalah variabel y biner dan saya tidak yakin bagaimana memeriksa properti dari fungsi linear dalam keadaan ini. Saya kira itu akan masuk akal jika Anda mengajukan pertanyaan terpisah, mungkin seseorang dapat menjelaskan kepada Anda mengapa itu ditulis dengan cara ini.

— itdxer

2

Saya juga mendapati bagian dari buku ini sulit untuk diikuti, dan jawaban di atas oleh itdxer layak untuk cukup lama dipahami juga bagi seseorang yang tidak fasih dalam soal probabilitas dan matematika. Namun saya membuatnya dengan membaca jawabannya di belakang, jadi mulailah dengan sigmoid dari z

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1 + e^{- z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$

dan coba ikuti kembali.

\begin{aligned} \log \tilde{P} (y) & = y z \end{aligned}

$\begin{align} \log\tilde P(y) &= yz \end{align}$

Maka masuk akal mengapa mereka memulai penjelasan dengan yz - itu dengan desain, sama seperti final

\begin{aligned} σ ((2 y - 1) z) \end{aligned}

$\begin{align} \sigma((2y-1)z) \end{align}$

dengan konstruksi memungkinkan untuk mendapatkan -1 untuk y = 0 dan 1 untuk y = 1, yang merupakan satu-satunya nilai yang mungkin dari y di bawah Bernoulli.

— Jakub Jurek
sumber

0

Berikut adalah ungkapan yang lebih formal yang akan menarik bagi mereka yang memiliki latar belakang teori-ukuran.

$Y$ $P_Y$ $y\in \{0,1\}$ $P_Y(y)=P(Y=y)$ $\tilde P_Y$

Kami memiliki rantai implikasi berikut:

\begin{aligned} \log {\tilde{P}}_{Y} (y) = y z & ⟹ {\tilde{P}}_{Y} (y) = \exp (y z) \\ ⟹ P_{Y} (y) = \frac{e^{y z}}{e^{0 \cdot z} + e^{1 \cdot z}} = \frac{e^{y z}}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y \frac{e^{z}}{1 + e^{z}} + (1 - y) \frac{1}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y σ (z) + (1 - y) σ (- z) \\ ⟹ P_{Y} (y) = σ ((2 y - 1) z) \end{aligned}

$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$

$\{0,1\}$ $\{-1,1\}$

— Gabriel Romon
sumber