Apakah ada aturan praktis untuk mendesain jaringan saraf?

12

Saya tahu bahwa arsitektur jaringan saraf sebagian besar didasarkan pada masalah itu sendiri dan jenis input / output, tetapi masih - selalu ada "yang persegi" ketika mulai membangun satu. Jadi pertanyaan saya adalah - diberikan dataset input MxN (M adalah jumlah catatan, N adalah jumlah fitur) dan kelas keluaran C yang mungkin - apakah ada aturan praktis tentang berapa banyak layer / unit yang harus kita mulai?

neural-network

— shakedzy
sumber

Kemungkinan jawaban untuk pertanyaan ini sangat spesifik masalah. Mungkin ada beberapa aturan yang berguna untuk pengenalan objek gambar, tetapi aturan ini mungkin tidak berfungsi pada dataset yang berbeda.

— horaceT

10

Pertanyaan ini telah dijawab secara terperinci di CrossValidated: Bagaimana memilih jumlah layer dan node tersembunyi dalam jaringan neural feedforward?

Namun, izinkan saya menambahkan dua sen saya sendiri:

Tidak ada aturan ajaib untuk memilih arsitektur jaringan saraf terbaik, tetapi jika Anda dapat menemukan arsitektur yang digunakan seseorang untuk memecahkan masalah yang sama, ini sering merupakan titik awal yang sangat baik.

Tempat terbaik untuk melihat adalah contoh resmi atau tidak resmi menggunakan perpustakaan jaringan saraf populer seperti Keras, PyTorch, atau Tensorflow, dan arsitektur yang dijelaskan dalam literatur akademik. keras / contoh di github adalah sumber yang bagus.

Arsitektur ini kemungkinan dipilih setelah banyak trial and error, sehingga sebagian besar pekerjaan akan dilakukan untuk Anda.

— Imran
sumber

5

Satu peringatan untuk jawaban CrossValidated adalah sekarang 7+ tahun, dan menunjuk ke FAQ 15+ tahun untuk "ringkasan yang sangat baik" untuk mengonfigurasi lapisan tersembunyi Anda. Untuk mengatakan bahwa ada banyak pekerjaan pada konfigurasi NN dalam 7-15 tahun terakhir sedikit meremehkan. Ada peningkatan jumlah aplikasi yang berada di luar rezim " satu lapisan cukup ". - Yang mengatakan, untuk sejumlah masalah pendekatan pembelajaran yang mendalam mungkin berlebihan. Dimulai dengan satu lapisan tersembunyi dan hanya akan mendalam jika dibutuhkan adalah strategi yang solid.

— RM

1

Poin bagus, RM - Jawaban kedua ada jauh lebih baru, namun.

— Imran

@ Imran Saya pikir Anda tidak pernah menjawab pertanyaan OP. Pilihan node dan arsitektur tersembunyi adalah pertanyaan yang sangat mendalam yang masih belum dipahami dengan baik. Saksikan ResNet dan ResNet luas dengan koneksi lintas lapisan.

— horaceT

Terima kasih atas komentar Anda, @horaceT. Jawaban percobaan saya dimaksudkan untuk berarti "Tidak ada aturan praktis, tetapi ada heuristik yang dapat diterapkan". Saya mengetahui Res Nets. Tolong beri tahu saya bagaimana lagi saya bisa meningkatkan jawaban saya.

— Imran

3

Saya membaca makalah yang mengeksplorasi ide menggunakan jaringan saraf untuk merancang jaringan saraf lain, dengan menjelajahi konfigurasi node dan layer mana yang paling efisien. Inilah halaman di mana Anda dapat mengunduh PDF https://arxiv.org/abs/1611.02120

— Daniel Ephrat
sumber

2

Mengikuti jawaban @ Imran, saya menemukan makalah ini di salah satu komentar di postingan CrossValidated yang dia tautkan. Selain upaya untuk menemukan arsitektur yang tepat menggunakan Model Genetik (alih-alih menggunakan aturan praktis), bagian 2.1 memberikan beberapa batasan teoretis tentang berapa banyak unit tersembunyi yang harus ada dalam sistem lapisan tersembunyi satu / dua.

EDIT: Saya sudah menguji teorema ini , dan menemukan bahwa menggunakan Model Genetik sama baiknya dengan memilih arsitektur acak.

— shakedzy
sumber