Apakah ada jaringan saraf dengan sangat sedikit node yang dapat memecahkan masalah non-sepele?

Saya tertarik mengetahui apakah ada jaringan saraf, yang memecahkan (dengan> = 80% akurasi) masalah nontrivial, yang menggunakan sangat sedikit node (di mana 20 node bukan batas keras). Saya ingin mengembangkan intuisi pada ukuran jaringan saraf.

neural-networks

— Guillermo Mosse
sumber

Teorema aproksimasi universal: jaringan saraf dengan satu lapisan tersembunyi dapat mendekati setiap fungsi "wajar" yang diberikan jumlah node yang cukup dalam lapisan tersembunyi.

— nbro

Saya pikir tidak akan mudah untuk menjawab pertanyaan Anda. Apa yang Anda maksud dengan "masalah non-sepele"?

— nbro

Saya ingin beberapa node bahkan di lapisan tersembunyi.

— Guillermo Mosse

@nbro rasa saya "non-sepele" dalam konteks ini tidak dapat dipecahkan atau tidak terpecahkan.

— DukeZhou

Sekalipun mustahil untuk menjawab pertanyaan ini dengan benar, karena non trivial tidak terdefinisi dengan baik (mungkin penulis akan mengedit pertanyaan ini nanti, untuk membuatnya lebih baik), saya mengambil kesempatan untuk menunjukkan makalah ini yang terlihat menarik bagi saya

Jaringan Saraf Terkecil untuk Mempelajari Ising Criticality

Dengan asumsi Anda memiliki gagasan umum tentang Model Ising, saya pikir masalah mengidentifikasi suhu kritis dari perspektif yang didorong data dapat dianggap sebagai tidak sepele dan makalah ini menunjukkan bagaimana penulis telah meningkatkan kinerja terkait untuk menyelesaikan tugas ini dengan NN yang lulus dari 100 Neuron Tersembunyi, seperti yang dilakukan dalam makalah ini Mesin mempelajari fase materi dari 2017, menjadi hanya 2 Neuron Tersembunyi

Hanya sen saya:

mengurangi neuron, sambil menjaga kinerja yang baik, harus membantu dalam hal interpretabilitas pemrosesan saraf yang terkenal tidak jelas dan kompleksitasnya tumbuh (secara eksponensial) dengan jumlah neuron

— Nicola Bernini
sumber

Saya hanya ingin contoh-contoh yang menurut komunitas itu menarik. Saya pikir sebenarnya tidak sepele untuk mendefinisikan bukan hal sepele. Baik?

— Guillermo Mosse

@GuillermoMosse Tidak, cukup sepele untuk mendefinisikan non-sepele. Definisi ini kurang lebih sewenang-wenang tergantung pada apa yang paling cocok dengan situasi tersebut. Saya yakin NN yang sangat sederhana dapat belajar untuk mengetahui apakah angka yang diberikan adalah akar kuadrat non-sepele ...

— forest