Jumlah optimal lapisan dalam jaringan saraf?

Bagaimana menentukan jumlah lapisan optimal yang akan dibuat saat menerapkan Jaringan Saraf Tiruan (Feedforward, back propagation atau RNN)?

neural-networks hidden-layers

— v01d
sumber

Ada teknik yang disebut Pruningdalam jaringan saraf, yang digunakan hanya untuk tujuan yang sama.

Pemangkasan dilakukan pada jumlah lapisan tersembunyi. Prosesnya sangat mirip dengan proses pemangkasan pohon keputusan. Proses pemangkasan dilakukan sebagai berikut:

Melatih jaringan yang besar, terhubung erat, dengan algoritma pelatihan standar
Periksa jaringan terlatih untuk menilai kepentingan relatif bobot
Hapus bobot paling tidak penting
melatih ulang jaringan yang sudah dipangkas
Ulangi langkah 2-4 hingga puas

Namun, ada beberapa metode yang dioptimalkan untuk memangkas jaring saraf, dan juga merupakan area penelitian yang sangat aktif .

— Dawny33
sumber

Pendekatan simetris adalah "pencarian grid" yang umum diterapkan pada arsitektur jaringan. Mulai dari yang kecil (sangat cepat), dan secara otomatis coba arsitektur yang lebih besar. Semua ini hanyalah kekerasan, ...

— Eric Platon

@EricPlaton +1 untuk pencarian kisi. Sangat berguna dalam hipertensi ML algos. Tapi, bukankah komputernya sangat intensif?

— Dawny33

Ya itu mahal. Namun, ketika kita bisa memulai dari yang kecil, tahap pertama bisa berjalan cukup cepat, dan memberikan gagasan yang lebih baik tentang apa yang harus dituju.

— Eric Platon

@EricPlaton "Pencarian Grid" akan pantas jawaban terpisah untuk itu sendiri :)

— Dawny33

Saya memikirkannya, tetapi kemudian akan ada dua alternatif dan mungkin jawaban yang "sama benar" ... Saya pikir yang terbaik untuk pembaca adalah menyusun jawaban itu menjadi satu.

— Eric Platon

Anda dapat melihat optimisasi hyperparameter bayesian sebagai metode umum untuk mengoptimalkan kerugian (atau apa pun) sebagai fungsi dari hyperparameter. Tetapi perhatikan bahwa secara umum semakin dalam jaringan Anda semakin baik, jadi mengoptimalkan kehilangan sebagai fungsi dari jumlah lapisan bukanlah hal yang sangat menyenangkan untuk dilakukan.

Pencarian kotak dan sedikit akal sehat (seperti yang dipelajari dengan melihat banyak contoh) harus menjadi taruhan terbaik Anda.

— kc sayz 'kc sayz'
sumber