Jumlah parameter dalam jaringan saraf tiruan untuk AIC

11

Bagaimana saya bisa menghitung jumlah parameter dalam jaringan saraf tiruan untuk menghitung AIC-nya?

neural-networks aic

— Julian
sumber

Pertanyaan ini tampaknya sangat jelas bagi saya.

— gung - Reinstate Monica

Anda dapat menggunakan perintah classifier.summary()dari sklearkelas.

— Shekhar Shinde

14

Setiap koneksi yang dipelajari dalam jaringan feedforward adalah parameter. Berikut ini gambar jaringan generik dari Wikipedia:

Jaringan ini terhubung sepenuhnya, meskipun jaringan tidak harus (misalnya, merancang jaringan dengan bidang reseptif meningkatkan deteksi tepi dalam gambar). Dengan JST yang terhubung penuh, jumlah koneksi hanyalah jumlah produk dari jumlah node dalam lapisan yang terhubung. Pada gambar di atas, yaitu . Gambar itu tidak menunjukkan node bias, tetapi banyak JST yang memilikinya; jika demikian, sertakan simpul bias dalam total untuk lapisan itu. Lebih umum (misalnya, jika JST Anda tidak terhubung sepenuhnya), Anda dapat menghitung koneksi. $(3\times 4) + (4\times 2) = 20$

— gung - Pasang kembali Monica
sumber

Koneksi dapat bersifat non-unik (lihat ieeexplore.ieee.org/document/714176 ). Oleh karena itu, apakah boleh menghitung koneksi saja? Mungkin kita harus membedakan antara parameter dan hyperparameter?

— Julian

Total jumlah koneksi akan menjadi 26 jika node bias dimasukkan.

— agcala

0

Jaringan saraf hanyalah fungsi dari fungsi fungsi ... (sebagaimana ditentukan oleh arsitektur model). Jika fungsi yang dihasilkan tidak dapat disederhanakan maka jumlah total parameter (jumlah semua jumlah parameter dari setiap node) dalam model adalah jumlah yang Anda inginkan untuk perhitungan AIC.

— bonez001
sumber

0

Untuk jaringan MLP yang terhubung sepenuhnya, Anda dapat menggunakan kode (Python) berikut:

def total_param(l=[]):
s=0
for i in range(len(l)-1):
    s=s+l[i]*l[i+1]+l[i+1]
return s

maka jika Anda memiliki jaringan dengan konfigurasi lapisan berikut

input:  435
hidden: 166 
hidden: 103 
hidden:  64
output:  15

Anda cukup memanggil fungsi dengan

total_param([435,166,103,64,15]) 
97208

— agcala
sumber