Apa artinya neuron dalam jaringan saraf diaktifkan?

Saya baru saja menemukan konsep cakupan neuron, yang merupakan rasio neuron teraktivasi dan total neuron dalam jaringan saraf. Tetapi apa artinya bagi neuron untuk "diaktifkan"? Saya tahu apa fungsi aktivasi, tetapi apa artinya diaktifkan misalnya dalam kasus fungsi ReLU atau sigmoid?

Neuron dikatakan diaktifkan ketika outputnya lebih dari ambang, biasanya 0.

Sebagai contoh: ketika a = w T x + b >

$$\begin{equation} y = Relu(a) > 0 \end{equation}$$ $$\begin{equation} a = w^Tx+b > 0 \end{equation}$$

Hal yang sama berlaku untuk fungsi sigmoid atau aktivasi lainnya.

Istilah "diaktifkan" sebagian besar digunakan ketika berbicara tentang fungsi aktivasi yang hanya menghasilkan nilai (kecuali 0) ketika input ke fungsi aktivasi lebih besar dari treshold tertentu.

Terutama ketika membahas ReLU, istilah "diaktifkan" dapat digunakan. ReLU akan "diaktifkan" ketika outputnya lebih besar dari 0, yang juga ketika inputnya lebih besar dari 0.

Fungsi aktivasi lainnya, seperti sigmoid, selalu mengembalikan nilai lebih dari 0, dan tidak memiliki treshold khusus. Oleh karena itu, istilah "diaktifkan" kurang berarti di sini.

Meskipun kita tahu sedikit tentang mereka, neuron di otak juga tampaknya memiliki sesuatu yang menyerupai fungsi aktivasi dengan semacam "aktivasi treshold".