Memvisualisasikan pelatihan jaringan saraf yang mendalam

13

Saya mencoba menemukan yang setara dengan Diagram Hinton untuk jaringan multilayer untuk merencanakan bobot selama pelatihan.

Jaringan terlatih agak mirip dengan Deep SRN, yaitu ia memiliki sejumlah besar matriks banyak berat yang akan membuat plot simultan dari beberapa Diagram Hinton secara visual membingungkan.

Adakah yang tahu cara yang bagus untuk memvisualisasikan proses pembaruan berat untuk jaringan berulang dengan banyak lapisan?

Saya belum menemukan banyak makalah tentang topik ini. Saya berpikir untuk menampilkan informasi terkait waktu pada bobot per lapisan sebagai gantinya jika saya tidak dapat menemukan sesuatu. Misal, bobot-delta dari waktu ke waktu untuk setiap lapisan (menghilangkan penggunaan setiap koneksi tunggal). PCA adalah kemungkinan lain, meskipun saya ingin tidak menghasilkan banyak perhitungan tambahan, karena visualisasi dilakukan secara online selama pelatihan.

— runDOSrun
sumber

10

Penutup yang saya tahu adalah ConvNetJS :

ConvNetJS adalah perpustakaan Javascript untuk melatih model Deep Learning (terutama Neural Networks) sepenuhnya di browser Anda. Buka tab dan Anda sedang berlatih. Tidak ada persyaratan perangkat lunak, tidak ada kompiler, tidak ada instalasi, tidak ada GPU, tidak ada keringat.

Demo di plot situs ini berbobot dan bagaimana mereka berubah dengan waktu (ingatlah, banyak parameternya, karena jaringan praktis memang memiliki banyak neuron). Selain itu, jika Anda tidak puas dengan plotnya, ada akses ke parameter jaringan dan Anda dapat memplot sesuai keinginan (karena itu JavaScript).

— Piotr Migdal
sumber

Terima kasih! Yang cukup menarik, mereka memilih untuk menggunakan beberapa Diagram Hinton untuk menyusun bobotnya. Saya masih berpikir itu sulit untuk ditafsirkan begitu Anda memiliki terlalu banyak lapisan / koneksi tetapi baik untuk melihatnya beraksi setidaknya.

— runDOSrun

5

Berdasarkan pemahaman sepintas saya tentang topik, yang terkait dengan pertanyaan Anda, saya pikir Gephi ( https://gephi.github.io ; tautan asli gephi.org dialihkan ke sana) harus dapat menangani visualisasi dinamis jaringan syaraf . Tampaknya, untuk mencapai tujuan Anda, Anda perlu mengalirkan grafik Anda dengan bobot yang sesuai ( https://forum.gephi.org/viewtopic.php?t=1875 ). Untuk streaming , Anda kemungkinan besar akan membutuhkan plug-in ini : https://marketplace.gephi.org/plugin/graph-streaming .

PEMBARUAN : Anda juga dapat menemukan perangkat lunak SoNIA yang berguna: http://web.stanford.edu/group/sonia .

— Aleksandr Blekh
sumber

1

Ide yang sangat menarik! Sungguh, memvisualisasikan jaring yang dalam seperti jejaring sosial adalah sesuatu yang tidak pernah saya pikirkan. Perbedaan utama antara model adalah bahwa grafik ini memberikan informasi kode dalam node mereka sementara jaringan saraf melakukannya dalam koneksi mereka. Tapi itu bisa dimodifikasi, misalnya dengan menetapkan nilai-nilai simpul jaringan sosial ke bobot koneksi keluar dari jaringan saraf.

— runDOSrun

Saya senang Anda menyukai ide itu. Jangan ragu untuk menerima / menerima. Dan jangan lupa untuk meninjau perangkat lunak SoNIA, dengan tautan yang baru-baru ini saya perbarui jawaban saya. Akhirnya, jika Anda menggunakan (atau berencana untuk menggunakan) R, inilah info menarik lain yang relevan untuk Anda: sna.stanford.edu/rlabs.php .

— Aleksandr Blekh