Saya mencoba memahami peran turunan dari fungsi sigmoid dalam jaringan saraf.

Pertama saya plot fungsi sigmoid, dan turunan dari semua titik dari definisi menggunakan python. Apa sebenarnya peran derivatif ini?

import numpy as np
import matplotlib.pyplot as plt

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def derivative(x, step):
    return (sigmoid(x+step) - sigmoid(x)) / step

x = np.linspace(-10, 10, 1000)

y1 = sigmoid(x)
y2 = derivative(x, 0.0000000000001)

plt.plot(x, y1, label='sigmoid')
plt.plot(x, y2, label='derivative')
plt.legend(loc='upper left')
plt.show()

Penggunaan turunan dalam jaringan saraf adalah untuk proses pelatihan yang disebut backpropagation . Teknik ini menggunakan gradient descent untuk menemukan set parameter model yang optimal untuk meminimalkan fungsi kerugian. Dalam contoh Anda, Anda harus menggunakan turunan dari sigmoid karena itu adalah aktivasi yang digunakan neuron individu Anda.

Fungsi kerugian

Inti dari pembelajaran mesin adalah untuk mengoptimalkan fungsi biaya sehingga kita dapat meminimalkan atau memaksimalkan beberapa fungsi target. Ini biasanya disebut kerugian atau biaya funtion. Kami biasanya ingin meminimalkan fungsi ini. Fungsi biaya, , mengaitkan beberapa penalti berdasarkan kesalahan yang dihasilkan ketika meneruskan data melalui model Anda sebagai fungsi dari parameter model.$C$

Mari kita lihat contoh di mana kita mencoba memberi label apakah suatu gambar mengandung kucing atau anjing. Jika kita memiliki model yang sempurna, kita dapat memberikan gambar model dan itu akan memberi tahu kita apakah itu kucing atau anjing. Namun, tidak ada model yang sempurna dan itu akan membuat kesalahan.

Ketika kami melatih model kami untuk dapat menyimpulkan makna dari input data kami ingin meminimalkan jumlah kesalahan yang dibuatnya. Jadi kami menggunakan set pelatihan, data ini berisi banyak gambar anjing dan kucing dan kami memiliki label kebenaran dasar yang terkait dengan gambar itu. Setiap kali kami menjalankan iterasi pelatihan model, kami menghitung biaya (jumlah kesalahan) model tersebut. Kami ingin meminimalkan biaya ini.

Banyak fungsi biaya ada masing-masing melayani tujuan mereka sendiri. Fungsi biaya umum yang digunakan adalah biaya kuadratik yang didefinisikan sebagai

$C = \frac{1}{N} \sum_{i=0}^{N}(\hat{y} - y)^2$ .

Ini adalah kuadrat dari perbedaan antara label yang diprediksi dan label kebenaran dasar untuk gambar yang kami latih. Kami ingin meminimalkan hal ini dalam beberapa cara.$N$

Meminimalkan fungsi kerugian

Memang sebagian besar pembelajaran mesin hanyalah keluarga kerangka kerja yang mampu menentukan distribusi dengan meminimalkan beberapa fungsi biaya. Pertanyaan yang bisa kita tanyakan adalah "bagaimana kita bisa meminimalkan suatu fungsi"?

Mari meminimalkan fungsi berikut

$y = x^2-4x+6$ .

Jika kita memplot ini kita bisa melihat bahwa ada minimum di . Untuk melakukan ini secara analitis kita dapat mengambil turunan dari fungsi ini sebagai$x = 2$

$\frac{dy}{dx} = 2x - 4 = 0$

$x = 2$ .

Namun, sering kali menemukan minimum global secara analitik tidak layak. Jadi alih-alih kami menggunakan beberapa teknik optimasi. Di sini juga ada banyak cara berbeda seperti: Newton-Raphson, pencarian grid, dll. Di antaranya adalah gradient descent . Ini adalah teknik yang digunakan oleh jaringan saraf.

Keturunan Gradien

Mari kita gunakan analogi yang terkenal digunakan untuk memahami ini. Bayangkan masalah minimisasi 2D. Ini sama dengan berada di kenaikan gunung di hutan belantara. Anda ingin kembali ke desa yang Anda tahu berada di titik terendah. Bahkan jika Anda tidak tahu arah mata angin desa. Yang perlu Anda lakukan adalah terus mengambil jalan terjal, dan Anda akhirnya akan sampai ke desa. Jadi kita akan turun ke permukaan berdasarkan kecuraman lereng.

Mari kita ambil fungsi kita

$y = x^2-4x+6$

kita akan menentukan yang diminimalkan . Algoritma keturunan gradien pertama mengatakan kita akan memilih nilai acak untuk . Mari kita inisialisasi pada . Kemudian algoritma akan melakukan hal berikut secara iteratif sampai kita mencapai konvergensi.y x x = $x$$y$$x$$x=8$

$x^{new} = x^{old} - \nu \frac{dy}{dx}$

di mana adalah tingkat pembelajaran, kita dapat mengatur ini untuk nilai apa pun yang kita suka. Namun ada cara cerdas untuk memilih ini. Terlalu besar dan kita tidak akan pernah mencapai nilai minimum kita, dan terlalu besar kita akan membuang banyak waktu sebelum kita sampai di sana. Ini analog dengan ukuran anak tangga yang ingin Anda turuni lereng yang curam. Langkah-langkah kecil dan Anda akan mati di gunung, Anda tidak akan pernah turun. Langkah terlalu besar dan Anda berisiko menembak desa dan berakhir di sisi lain gunung. Derivatif adalah sarana yang digunakan untuk melakukan perjalanan menuruni lereng menuju minimum.$\nu$

$\frac{dy}{dx} = 2x - 4$

$\nu = 0.1$

Iterasi 1:

x n e w = 6.8 - 0.1 ( 2 ∗ 6.8 - 4 ) = 5.84 x n e w = 5.84 - 0.1 ( 2 ∗ 5.84 - 4 ) = 5.07 x n e w = 5.07 - $x^{new} = 8 - 0.1(2 * 8 - 4) = 6.8$
$x^{new} = 6.8 - 0.1(2 * 6.8 - 4) = 5.84$
$x^{new} = 5.84 - 0.1(2 * 5.84 - 4) = 5.07$
x n e w = 4.45 - 0.1 ( 2 ∗ 4.45 - 4 ) = 3.96 x n e w = 3.96 - 0.1 ( 2 ∗ 3.96 - 4 ) = 3.57 x n e w = 3.57 - 0,1 ( 2 ∗ 3,57 - 4 $x^{new} = 5.07 - 0.1(2 * 5.07 - 4) = 4.45$
$x^{new} = 4.45 - 0.1(2 * 4.45 - 4) = 3.96$
$x^{new} = 3.96 - 0.1(2 * 3.96 - 4) = 3.57$
x n e w = 3,25 - 0,1 ( 2 ∗ 3,25 - 4 ) = 3,00 x n e w = 3,00 - 0,1 ( 2 ∗ 3,00 - 4 ) = 2,80 x n e w = 2,80 - 0,1 ( 2 ∗ 2,80 - 4 ) = 2.64 x n e w$x^{new} = 3.57 - 0.1(2 * 3.57 - 4) = 3.25$
$x^{new} = 3.25 - 0.1(2 * 3.25 - 4) = 3.00$
$x^{new} = 3.00 - 0.1(2 * 3.00 - 4) = 2.80$
$x^{new} = 2.80 - 0.1(2 * 2.80 - 4) = 2.64$
x n e w = 2.51 - 0.1 ( 2 ∗ 2.51 - 4 ) = 2.41 x n e w = 2.41 - 0.1 ( 2 ∗ 2.41 - 4 ) = 2.32 x n e w = 2.32 - 0.1 ( 2 ∗ $x^{new} = 2.64 - 0.1(2 * 2.64 - 4) = 2.51$
$x^{new} = 2.51 - 0.1(2 * 2.51 - 4) = 2.41$
$x^{new} = 2.41 - 0.1(2 * 2.41 - 4) = 2.32$
x n e w = 2.26 - 0.1 ( 2 ∗ 2.26 - 4 ) = 2.21 x n e w = 2.21 - 0.1 ( 2 ∗ 2.21 - 4 ) = 2.16 x n e w = 2.16 - 0.1 ( 2 ∗ 2.16 - 4 ) = 2.13 x $x^{new} = 2.32 - 0.1(2 * 2.32 - 4) = 2.26$
$x^{new} = 2.26 - 0.1(2 * 2.26 - 4) = 2.21$
$x^{new} = 2.21 - 0.1(2 * 2.21 - 4) = 2.16$
$x^{new} = 2.16 - 0.1(2 * 2.16 - 4) = 2.13$
x n e w =2.10-0.1(2∗2.10-4)=2.08 x n e w =2.08-0.1(2∗2.08-4)=2.06 x n e w =2.06-0.1$x^{new} = 2.13 - 0.1(2 * 2.13 - 4) = 2.10$
$x^{new} = 2.10 - 0.1(2 * 2.10 - 4) = 2.08$
$x^{new} = 2.08 - 0.1(2 * 2.08 - 4) = 2.06$
x n e w = 2.05 - 0.1 ( 2 ∗ 2.05 - 4 ) = 2.04 x n e w = 2.04 - 0.1 ( 2 ∗ 2.04 - 4 ) = 2.03 x n e w = 2.03 - 0.1 ( 2 ∗ 2.03 - 4 ) $x^{new} = 2.06 - 0.1(2 * 2.06 - 4) = 2.05$
$x^{new} = 2.05 - 0.1(2 * 2.05 - 4) = 2.04$
$x^{new} = 2.04 - 0.1(2 * 2.04 - 4) = 2.03$
x n e w = 2,02 - 0,1 ( 2 ∗ 2,02 - 4 ) = 2,02 x n e w = 2,02 - 0,1 ( 2 ∗ 2,02 - 4 ) = 2,01 x n e w = 2,01 - 0,1 ( 2 ∗ 2,01 - 4 ) = 2.01 x n e w = $x^{new} = 2.03 - 0.1(2 * 2.03 - 4) = 2.02$
$x^{new} = 2.02 - 0.1(2 * 2.02 - 4) = 2.02$
$x^{new} = 2.02 - 0.1(2 * 2.02 - 4) = 2.01$
$x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.01$
x n e w = 2.01 - 0.1 ( 2 ∗ 2.01 - 4 ) = 2.00 x n e w = 2.00 - 0.1 ( 2 ∗ 2.00 - 4 ) = 2.00 x n e w = 2,00 - 0,1 ( 2 ∗ 2,00 $x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.01$
$x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
x n e w = 2.00 - 0.1 ( 2 ∗ 2.00 - 4 ) = 2.00 x n e w = 2.00 - 0.1 ( 2 ∗ 2.00 - 4 ) = $x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$

Dan kita melihat bahwa algoritma konvergen di ! Kami telah menemukan minimum.$x = 2$

Diterapkan ke jaringan saraf

Jaringan saraf pertama hanya memiliki satu neuron yang mengambil beberapa input dan kemudian memberikan output . Fungsi umum yang digunakan adalah fungsi sigmoid$x$$\hat{y}$

$\sigma(z) = \frac{1}{1+exp(z)}$

$\hat{y}(w^Tx) = \frac{1}{1+exp(w^Tx + b)}$

di mana adalah bobot terkait untuk setiap input dan kami memiliki bias . Kami kemudian ingin meminimalkan fungsi biaya kamix $w$$x$$b$

$C = \frac{1}{2N} \sum_{i=0}^{N}(\hat{y} - y)^2$ .

Bagaimana cara melatih jaringan saraf?

Kami akan menggunakan gradient descent untuk melatih bobot berdasarkan output dari fungsi sigmoid dan kami akan menggunakan beberapa fungsi biaya dan kereta api pada batch data ukuran .$C$$N$

$C = \frac{1}{2N} \sum_i^N (\hat{y} - y)^2$

y$\hat{y}$ adalah kelas prediksi yang diperoleh dari fungsi sigmoid dan adalah label kebenaran dasar. Kami akan menggunakan gradient descent untuk meminimalkan fungsi biaya sehubungan dengan bobot . Untuk mempermudah hidup kami, kami akan membagi turunannya sebagai berikut$y$$w$

$\frac{\partial C}{\partial w} = \frac{\partial C}{\partial \hat{y}} \frac{\partial \hat{y}}{\partial w}$ .

$\frac{\partial C}{\partial \hat{y}} = \hat{y} - y$

dan kami memiliki dan turunan dari fungsi sigmoid adalah demikian yang kita miliki,$\hat{y} = \sigma(w^Tx)$$\frac{\partial \sigma(z)}{\partial z} = \sigma(z)(1-\sigma(z))$

$\frac{\partial \hat{y}}{\partial w} = \frac{1}{1+exp(w^Tx + b)} (1 - \frac{1}{1+exp(w^Tx + b)})$ .

Jadi kita dapat memperbarui bobot melalui gradient descent sebagai

$w^{new} = w^{old} - \eta \frac{\partial C}{\partial w}$

di mana adalah tingkat belajar.$\eta$

Selama fase di mana jaringan saraf menghasilkan prediksi, itu memberi makan input ke depan melalui jaringan. Untuk setiap layer, input layer berjalan pertama melalui transformasi affine dan kemudian dilewatkan melalui fungsi sigmoid .$X$$W \cdot X + b$$σ(W \cdot X + b)$

Untuk melatih jaringan, output kemudian dibandingkan dengan output yang diharapkan (atau label) melalui fungsi biaya . Tujuan dari seluruh prosedur pelatihan adalah untuk meminimalkan fungsi biaya tersebut. Untuk melakukan itu, dilakukan teknik yang disebut gradient descent yang menghitung bagaimana kita harus mengubah dan sehingga biaya berkurang.$\hat y$$y$ $L(y, \hat y)=L\left(y, σ(W \cdot X + b)\right)$$W$$b$

Gradient Descent mengharuskan penghitungan turunan dari fungsi biaya wrt dan . Untuk melakukan itu kita harus menerapkan aturan rantai , karena turunan yang perlu kita hitung adalah komposisi dua fungsi. Seperti yang ditentukan oleh aturan rantai, kita harus menghitung turunan dari fungsi sigmoid .$W$$b$

Salah satu alasan mengapa fungsi sigmoid populer dengan jaringan saraf, adalah karena turunannya mudah dihitung .

Dengan kata sederhana:

Derivatif menunjukkan kemampuan neuron untuk belajar pada input tertentu.

Misalnya jika input 0 atau 1 atau -2 , turunannya ("kemampuan belajar") tinggi dan propagasi balik akan meningkatkan bobot neuron untuk sampel ini secara dramatis.

Di sisi lain, jika input adalah 20 , turunannya akan sangat dekat dengan 0 . Ini berarti bahwa propagasi balik pada sampel ini tidak akan "mengajarkan" neuron ini untuk menghasilkan hasil yang lebih baik.

Hal-hal di atas berlaku untuk satu sampel.

Mari kita lihat gambar yang lebih besar, untuk semua sampel dalam set pelatihan. Di sini kita memiliki beberapa situasi:

• Jika turunan adalah 0 untuk semua sampel dalam set latihan Anda DAN neuron selalu menghasilkan hasil yang salah - itu berarti neuron jenuh (bisu) dan tidak akan membaik.

• Jika turunannya 0 untuk semua sampel dalam set latihan Anda DAN neuron selalu menghasilkan hasil yang benar - itu berarti neuron telah belajar dengan sangat baik dan sudah sepintar mungkin (catatan: kasus ini baik tetapi mungkin menunjukkan potensi overfitting, yang tidak baik)

• Jika turunannya 0 pada beberapa sampel, non-0 pada sampel lain DAN neuron menghasilkan hasil yang beragam - ini menunjukkan bahwa neuron ini melakukan beberapa pekerjaan yang baik dan berpotensi meningkat dari pelatihan lebih lanjut (meskipun tidak harus karena tergantung pada neuron lain dan data pelatihan yang Anda memiliki)

Jadi, ketika Anda melihat plot turunannya, Anda dapat melihat seberapa banyak neuron siap untuk belajar dan menyerap pengetahuan baru, diberi input tertentu.

Derivatif yang Anda lihat di sini penting dalam jaringan saraf. Itulah alasan mengapa orang umumnya lebih suka sesuatu yang lain seperti unit linear yang diperbaiki .

Apakah Anda melihat penurunan turunan untuk kedua ujungnya? Bagaimana jika jaringan Anda ada di sisi paling kiri, tetapi perlu pindah ke sisi kanan? Bayangkan Anda berada di -10.0 tetapi Anda ingin 10.0. Gradien akan terlalu kecil untuk jaringan Anda untuk menyatu dengan cepat. Kami tidak ingin menunggu, kami ingin konvergensi yang lebih cepat. RLU tidak memiliki masalah ini.

Kami menyebut masalah ini " Saturasi Jaringan Saraf ".

Silakan lihat https://www.quora.com/What-is-special-about-rectifier-neural-units-used-in-NN-learning