Apa turunan dari fungsi aktivasi ReLU?

Apa turunan dari fungsi aktivasi ReLU didefinisikan sebagai:

R e L U (x) = m a x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

Bagaimana dengan kasus khusus di mana ada diskontinuitas dalam fungsi di ? $x=0$

self-study neural-networks

— Tom Hale
sumber

Derivatifnya adalah:

f (x) = {\begin{cases} 0 & if x < 0 \\ 1 & if x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

Dan tidak terdefinisi dalam . $x=0$

Alasannya tidak terdefinisi pada adalah turunan kiri dan kanannya tidak sama. $x=0$

— Jim
sumber

Jadi dalam prakteknya (implementasi), seseorang hanya mengambil atau untuk case?

0

$0$

1

$1$

x = 0

$x=0$

— Tom Hale

Konvensi adalah bahwa drdx = 1 (x> 0)

— neuroguy123

@ TomHale mengapa tidak menggunakan ? Implementasi praktisnya adalah masalah lain dan patut ditanyakan. Ini hanya matematika.

f (0) = \frac{1}{2}

$f(0) = \frac{1}{2}$

— Jim

@ TomHale omong-omong, lihat jawaban Nouroz Rahman di quora.com / ...tf.nn.relu()

— Jim