Apakah jaringan saraf memiliki kemampuan menjelaskan seperti halnya pohon keputusan?

13

Dalam Pohon Keputusan, kita dapat memahami output dari struktur pohon dan kita juga dapat memvisualisasikan bagaimana Pohon Keputusan membuat keputusan. Jadi pohon keputusan memiliki kemampuan menjelaskan (hasil mereka dapat dijelaskan dengan mudah.)

Apakah kita memiliki kemampuan menjelaskan dalam Jaringan Saraf Tiruan seperti dengan Pohon Keputusan?

neural-network

— navya
sumber

1

Kerangka model-agnostik baru-baru ini adalah model LIME .

— Emre

Di bidang pengenalan / klasifikasi objek menggunakan jaringan saraf, heatmap populer untuk memvisualisasikan / menjelaskan keputusan seperti di heatmapping.org . Tersedia tutorial dan demonstrasi interaktif.

— Nikolas Rieble

9

Saya tidak setuju dengan jawaban sebelumnya dan dengan saran Anda karena dua alasan:

1) Pohon keputusan didasarkan pada keputusan logis sederhana yang digabungkan bersama-sama dapat membuat keputusan yang lebih kompleks. TETAPI jika input Anda memiliki 1000 dimensi, dan fitur yang dipelajari sangat tidak linier, Anda mendapatkan pohon keputusan yang sangat besar dan berat yang tidak dapat Anda baca / pahami hanya dengan melihat node.

2) Jaringan saraf mirip dengan yang dalam arti bahwa fungsi yang mereka pelajari dapat dipahami hanya jika mereka sangat kecil. Ketika menjadi besar, Anda perlu trik lain untuk memahaminya. Seperti yang disarankan oleh @SmallChess, Anda dapat membaca artikel ini yang berjudul Visualizing and Understanding Convolutional Networks yang menjelaskan untuk kasus khusus jaringan saraf convolutional, bagaimana Anda dapat membaca bobot untuk memahami hal-hal seperti "mendeteksi sebuah mobil dalam gambar ini, terutama karena adanya roda, bukan sisa komponen ".

Visualisasi ini membantu banyak peneliti untuk benar-benar memahami kelemahan dalam arsitektur saraf mereka dan membantu meningkatkan algoritma pelatihan.

— Robin
sumber

:-) Saya menemukan kertas itu sendiri lebih sulit untuk dipahami daripada jaringan convolutional yang mendalam itu sendiri. Ini makalah yang sangat matematis.

— HelloWorld

1

Maaf, saya mengutip artikel yang salah :-) Saya baru saja mengubahnya, yang ini lebih grafis, ide untuk membalikkan convnet tidak terlalu sulit jika Anda tahu cara kerja convnets. Dengan cara yang sama, Google deep dream menggunakan back propagation untuk memproyeksikan output tertentu di ruang input.

— Robin

Ada video di mana Matt Zeiler mengeluarkan banyak gagasan ini, yang disebut jaringan Deconconvolution

— Alex

7

Tidak. Jaringan saraf umumnya sulit dipahami. Anda menukar kekuatan prediksi untuk kompleksitas model. Meskipun dimungkinkan untuk memvisualisasikan bobot NN secara grafis, mereka tidak memberi tahu Anda dengan tepat bagaimana keputusan dibuat. Semoga berhasil memahami jaringan yang dalam.

Ada paket Python yang populer (dan memiliki kertas) yang dapat memodelkan NN secara lokal dengan model yang lebih sederhana. Anda mungkin ingin melihatnya.

https://github.com/marcotcr/lime

— Halo Dunia
sumber

1

ha ha. Saya tahu bagaimana rasanya. pelukan : D

— Dawny33

0

https://arxiv.org/abs/1704.02685 menyediakan alat penjelasan lokal khusus NN: deep lift. Ini berfungsi dengan menyebarkan perbedaan dalam aktivasi antara instance yang ingin Anda jelaskan dan instance referensi. Mendapatkan referensi agak sulit, tetapi alat ini tampaknya bisa ditafsirkan dan secara keseluruhan dapat diukur. Kami menggunakannya pada data tabular.

— lcrmorin
sumber