Mengapa fungsi sigmoid standar de-facto, , begitu populer di jaringan saraf dan regresi logistik (tidak dalam)?$\frac{1}{1+e^{-x}}$

Mengapa kita tidak menggunakan banyak fungsi turunan lainnya, dengan waktu perhitungan yang lebih cepat atau peluruhan yang lebih lambat (sehingga gradien menghilang lebih sedikit). Beberapa contoh ada di Wikipedia tentang fungsi sigmoid . Salah satu favorit saya dengan pembusukan lambat dan perhitungan cepat adalah .$\frac{x}{1+|x|}$

EDIT

Pertanyaannya berbeda dengan daftar fungsi aktivasi Komprehensif di jaringan saraf dengan pro / kontra karena saya hanya tertarik pada 'mengapa' dan hanya untuk sigmoid.

Mengutip diri saya dari jawaban ini untuk pertanyaan yang berbeda:

Dalam bagian 4.2 Pengenalan Pola dan Pembelajaran Mesin (Springer 2006), Bishop menunjukkan bahwa logit muncul secara alami sebagai bentuk distribusi probabilitas posterior dalam perlakuan Bayesian dari klasifikasi dua kelas. Dia kemudian melanjutkan untuk menunjukkan bahwa hal yang sama berlaku untuk fitur yang terdistribusi secara terpisah, serta bagian dari keluarga distribusi eksponensial. Untuk klasifikasi multi-kelas, logit digeneralisasikan ke fungsi eksponensial atau softmax yang dinormalisasi.

Ini menjelaskan mengapa sigmoid ini digunakan dalam regresi logistik.

Mengenai jaringan saraf, posting blog ini menjelaskan betapa berbedanya nonlinier termasuk logit / softmax dan probit yang digunakan dalam jaringan saraf dapat diberikan interpretasi statistik dan dengan demikian motivasi. Gagasan yang mendasarinya adalah bahwa jaringan saraf multi-layered dapat dianggap sebagai hierarki model linier umum; menurut ini, fungsi aktivasi adalah fungsi tautan, yang pada gilirannya sesuai dengan asumsi distribusi yang berbeda.

Salah satu alasan fungsi ini mungkin tampak lebih "alami" daripada yang lain adalah bahwa ia kebetulan merupakan kebalikan dari parameter kanonik distribusi Bernoulli: (Fungsipdalam eksponen disebut parameter kanonik.)

Mungkin justifikasi yang lebih menarik datang dari teori informasi, di mana fungsi sigmoid dapat diturunkan sebagai model entropi maksimum . Secara kasar, fungsi sigmoid mengasumsikan struktur minimal dan mencerminkan keadaan umum ketidaktahuan kita tentang model yang mendasarinya.

Saya telah bertanya pada diri sendiri pertanyaan ini selama berbulan-bulan. Jawaban pada CrossValidated dan Quora semuanya daftar sifat yang bagus dari fungsi sigmoid logistik, tetapi semuanya sepertinya kita dengan cerdik menebak fungsi ini. Apa yang saya lewatkan adalah pembenaran untuk memilihnya. Saya akhirnya menemukan satu di bagian 6.2.2.2 dari buku "Deep Learning" karya Bengio (2016) . Dengan kata-kata saya sendiri:

Singkatnya, kami ingin logaritma output model sesuai untuk optimasi berbasis gradien dari log-kemungkinan data pelatihan.

Motivasi

• Kami menginginkan model linier, tetapi kami tidak dapat menggunakan $z = w^T x + b$ secara langsung sebagai $z \in (-\infty, +\infty)$ .
• Untuk klasifikasi, masuk akal untuk mengasumsikan distribusi Bernoulli dan memodelkan parameternya $\theta$ dalam $P(Y=1) = \theta$ .
• Jadi, kita perlu memetakan $z$ dari $(-\infty, +\infty)$ ke $[0, 1]$ untuk melakukan klasifikasi.

Mengapa fungsi sigmoid logistik?

Memotong $z$ dengan $P(Y=1|z) = max\{0, min\{1, z\}\}$ menghasilkan gradien nol untuk $z$ luar $[0, 1]$ . Kita memerlukan gradien yang kuat setiap kali prediksi model salah, karena kita menyelesaikan regresi logistik dengan gradient descent. Untuk regresi logistik, tidak ada solusi bentuk tertutup.

Fungsi logistik memiliki properti bagus asymptot gradien konstan ketika prediksi model salah, mengingat bahwa kami menggunakan Estimasi Kemungkinan Maksimum agar sesuai dengan model. Ini ditunjukkan di bawah ini:

Untuk manfaat numerik, Estimasi Kemungkinan Maksimum dapat dilakukan dengan meminimalkan log-kemungkinan negatif dari data pelatihan. Jadi, fungsi biaya kami adalah:

Karena $P(Y=0 | z) = 1-P(Y=1|z)$ , kita dapat fokus pada kasus $Y=1$ . Jadi, pertanyaannya adalah bagaimana memodelkan $P(Y=1 | z)$ mengingat kita memiliki $z = w^T x + b$ .

Persyaratan yang jelas untuk fungsi $f$ pemetaan $z$ ke $P(Y=1 | z)$ adalah:

• $\forall z \in \mathbb{R}: f(z) \in [0, 1]$
• $f(0) = 0.5$
• $f$ harus wrt simetris rotasi$(0, 0.5)$ , yaitu$f(-x) = 1-f(x)$ , sehingga membalik tanda-tanda kelas tidak berpengaruh pada fungsi biaya.
• $f$ harus non-menurun, terus menerus dan dapat dibedakan.

$f(z) = \frac{1}{1 + e^{-z}}$$f(z) = 0.5 + 0.5 \frac{z}{1+|z|}$$f(z) = \frac{1}{1 + e^{-z}}$

$Y=1$

$P(Y=1|z) = \frac{1}{1 + e^{-z}}$$Y=1$$m=1$

Kita dapat melihat bahwa ada komponen linier $-z$ . Sekarang, kita dapat melihat dua kasus:

• $z$$Y=1$$\log(1 + e^z)$$z$$z$$-z$
• $z$$|z|$$Y=1$$\log(1 + e^z)$$0$$z$$-z$$z$$-1$$z$, tidak ada saturasi yang terjadi, yang akan menyebabkan gradien hilang.

$Y=0$

$Y=1$$Y=0$

$J(z)$$Y=1$

$Y=0$

Alternatif

$\frac{z}{1+|z|}$$[0,1]$$P(Y=1|z) = 0.5 + 0.5 \frac{z}{1+|z|}$

$Y=1$

$J(z) = - \log (0.5 + 0.5 \frac{z}{1+|z|})$

yang terlihat seperti ini:

$z \rightarrow - \infty$

Karena pertanyaan awal menyebutkan masalah gradien yang membusuk, saya hanya ingin menambahkan itu, untuk lapisan menengah (di mana Anda tidak perlu menafsirkan aktivasi sebagai probabilitas kelas atau hasil regresi), nonlinier lainnya sering lebih disukai daripada fungsi sigmoidal. Yang paling menonjol adalah fungsi penyearah (seperti dalam ReLUs ), yang linear pada domain positif dan nol di atas negatif. Salah satu kelebihan mereka adalah bahwa mereka kurang tunduk pada masalah gradien yang membusuk, karena turunannya konstan pada domain positif. ReLU telah menjadi populer sampai-sampai sigmoids mungkin tidak dapat disebut standar de-facto lagi.

Glorot et al. (2011) . Jaringan saraf penyearah jarang dalam