Mengapa kita menggunakan ReLU di jaringan saraf dan bagaimana kita menggunakannya?

Mengapa kita menggunakan rectified linear units (ReLU) dengan jaringan saraf? Bagaimana cara meningkatkan jaringan saraf?

Mengapa kita mengatakan bahwa ReLU adalah fungsi aktivasi? Bukankah fungsi aktivasi softmax untuk jaringan saraf? Saya menduga bahwa kami menggunakan keduanya, ReLU dan softmax, seperti ini:

neuron 1 dengan output softmax ----> ReLU pada output neuron 1, yang merupakan
input dari neuron 2 ---> neuron 2 dengan output softmax -> ...

sehingga input neuron 2 pada dasarnya adalah ReLU (softmax (x1)). Apakah ini benar?

Fungsi ReLU adalah $f(x)=\max(0, x).$Biasanya ini diterapkan elemen-bijaksana untuk output dari beberapa fungsi lain, seperti produk vektor-matriks. Dalam penggunaan MLP, unit penyearah menggantikan semua fungsi aktivasi lainnya kecuali mungkin lapisan pembacaan. Tapi saya kira Anda bisa mencampur dan mencocokkan mereka jika Anda mau.

Salah satu cara ReLU meningkatkan jaringan saraf adalah dengan mempercepat pelatihan. Komputasi gradien sangat sederhana (0 atau 1 tergantung pada tanda $x$ ). Juga, langkah komputasi ReLU mudah: setiap elemen negatif diatur ke 0,0 - tanpa eksponensial, tidak ada operasi perkalian atau pembagian.

Gradien jaringan singgung logistik dan hiperbolik lebih kecil daripada bagian positif dari ReLU. Ini berarti bahwa bagian positif diperbarui lebih cepat saat pelatihan berlangsung. Namun, ini harus dibayar. Gradien 0 di sebelah kiri memiliki masalah sendiri, yang disebut "dead neuron," di mana pembaruan gradien menetapkan nilai yang masuk ke ReLU sehingga output selalu nol; unit ReLU yang dimodifikasi seperti ELU (atau LeLU Leaky, atau PReLU, dll.) dapat memperbaiki hal ini.

$\frac{d}{dx}\text{ReLU}(x)=1\forall x > 0$. Sebaliknya, gradien unit sigmoid paling banyak$0.25$; di sisi lain, tingkat$\tanh$lebih baik untuk input di wilayah dekat 0 sejak$0.25 < \frac{d}{dx}\tanh(x) \le 1 \forall x \in [-1.31, 1.31]$(kurang-lebih).

$\rho(x) = \max(0, x)$$\rho \circ \rho \circ \rho \circ \dots \circ \rho = \rho$

$n$

ReLU adalah fungsi maks (x, 0) dengan input x misalnya matriks dari gambar yang berbelit-belit. ReLU kemudian menetapkan semua nilai negatif dalam matriks x ke nol dan semua nilai lainnya dijaga konstan.

ReLU dihitung setelah konvolusi dan karenanya fungsi aktivasi nonlinier seperti tanh atau sigmoid.

Softmax adalah classifier di ujung jaringan saraf. Itu adalah regresi logistik untuk mengatur output ke nilai antara 0 dan 1. (Alternatif di sini adalah classifier SVM).

CNN Forward Pass mis: input-> conv-> ReLU-> Pool-> conv-> ReLU-> Pool-> FC-> softmax

ReLU adalah saklar literal. Dengan sakelar listrik 1 volt menghasilkan 1 volt keluar, n volt memberi n volt keluar saat dihidupkan. Nyala / Mati saat Anda memutuskan untuk beralih ke nol memberikan grafik yang sama persis dengan ReLU. Jumlah tertimbang (produk titik) dari sejumlah jumlah tertimbang masih merupakan sistem linier. Untuk input tertentu, sakelar ReLU hidup atau mati secara individual. Yang menghasilkan proyeksi linier tertentu dari input ke output, karena berbagai jumlah tertimbang jumlah tertimbang ... dihubungkan bersama oleh sakelar. Untuk input tertentu dan output neuron tertentu ada sistem gabungan jumlah tertimbang yang sebenarnya dapat diringkas menjadi jumlah tertimbang efektif tunggal. Karena ReLU berganti status menjadi nol, tidak ada diskontinuitas mendadak pada output untuk perubahan input secara bertahap.

Ada algoritme penjumlahan tertimbang (titik produk) efisien numerik lainnya seperti transformasi FFT dan Walsh Hadamard. Tidak ada alasan Anda tidak dapat memasukkan mereka ke dalam jaringan saraf berbasis ReLU dan mendapat manfaat dari keuntungan komputasi. (mis. Jaringan neural bank filter tetap.)