Apa yang bisa dipelajari dari bobot dalam jaringan saraf?

Saya sangat baru di jaringan saraf, dan telah berusaha mencari tahu beberapa hal. Jadi, katakanlah Anda menemukan jaringan saraf yang memiliki 100 input, lapisan tersembunyi dengan 200 node, dan 32 output. Katakan juga bahwa Anda, "penemu" dari contoh khusus jaringan saraf ini, dapat membaca bobot masing-masing neuron. Apa yang bisa Anda ketahui tentang fungsinya?

1) Apakah Anda dapat menentukan algoritma atau logika apa yang terkandung dalam jaringan saraf? Selain memberi makan semua input yang mungkin dan mempelajari output yang dihasilkannya.

2) Jika Anda diberi informasi tentang koneksi jaringan saraf (mungkin jaringan tidak sepenuhnya terhubung), akankah memecahkan pertanyaan di atas lebih mudah?

Tergantung. Berat jaringan saraf dapat digambarkan atau divisualisasikan untuk beberapa wawasan. Ini sangat berguna jika jaringan saraf bekerja dengan pemrosesan visual. Dimungkinkan untuk "memperoleh" masukan tingkat rendah apa yang dibuat oleh jaringan saraf untuk menciptakan neuron tertentu di tingkat yang lebih tinggi untuk "menembak" dengan bekerja mundur melalui bobot jaringan saraf — dengan kata lain, masalah menemukan / menurunkan masukan tingkat rendah pola yang secara maksimal menggairahkan neuron tertentu, dan membuat grafik hasilnya. Sebuah contoh yang bagus dari ini adalah hasil terobosan baru-baru ini oleh Google dalam jaringan visual yang dilatih sendiri yang dikelola sendiri untuk menemukan pola tingkat tinggi seperti kucing dan wajah manusia, dll. [1], [2], [3]

Ini juga dikenal sebagai "pendeteksian fitur" dan ada penelitian pemenang Hadiah Nobel (1981 Hubel / Weisel) yang menunjukkan bahwa fungsi neuron otak yang sebenarnya dengan cara yang sama, hingga derajat yang bervariasi. Penelitian aktif sedang berlangsung / berlanjut di bidang ini dalam sistem biologis dan buatan.

Cara lain untuk menganalisis bobot neural net adalah dengan menyimpulkan faktor (input) apa yang memengaruhi jaringan saraf dan mana yang tidak. Sebagai contoh, anggaplah neural net digunakan untuk memprediksi harga saham dan memiliki berbagai input yang berkaitan dengan variabel ekonomi yang berbeda seperti katakanlah PDB, harga emas, DJIA (indeks), dan suku bunga. Setelah jaringan dilatih (berhasil!) Untuk memprediksi sesuatu (katakanlah harga di masa depan), seseorang dapat menentukan seberapa besar pengaruh masing-masing variabel input terhadap prediksi akhir.

Juga suatu penentuan dapat dibuat dari dasar korelasi negatif atau positif antara input dan output. Dengan cara ini jaringan saraf dapat digunakan dengan cara yang sangat mirip dengan teknik statistik seperti analisis faktor .

Jadi jawabannya adalah "ya mutlak," tetapi hanya dalam arti bahwa ada berbagai cara untuk mengungkapkan "algoritma" dalam jaringan saraf melalui grafis atau representasi "yang dapat dibaca manusia" selain dari dengan representasi khas dari algoritma, yaitu kode. Tetapi mewakili bobot jaringan saraf dengan cara yang dapat dibaca manusia dan menemukan representasi baru yang bermanfaat adalah bidang penelitian yang aktif.

[1] Google Menempatkan Teknologi Otak Virtual-nya ke Tinjauan Teknologi Kerja

[2] Otak Buatan Google Belajar Menemukan Video Cat dengan Kabel

[3] Berapa Banyak Komputer untuk Mengidentifikasi Kucing? 16.000 NYT

Apakah Anda dapat menentukan algoritma atau logika apa yang terkandung dalam jaringan saraf? Selain memberi makan semua input yang mungkin dan mempelajari output yang dihasilkannya.

Tidak, saya kira tidak, tidak dengan cara yang berarti. Itu akan mirip dengan mempelajari bit dalam setiap byte individu dari program komputer dalam upaya untuk mengevaluasi tujuannya. Anda perlu makna untuk menentukan itu, dan Anda hanya bisa mendapatkannya dengan mempelajari input dan output, atau mengevaluasi opcodes yang sebenarnya.

Tidak ada arti dalam bobot neuron individu; hanya ketika bobot-bobot itu digabungkan menjadi sebuah jawaban maka mereka menjadi bermakna.

Anda mungkin bisa memastikan metode pelatihan jaring saraf dengan mengamati struktur keseluruhan dan pola bobot relatif dalam struktur saraf.