Mengapa pembelajaran yang mendalam tidak bekerja dengan baik dengan sejumlah kecil data?

Saya baru belajar mendalam, jadi ini mungkin pertanyaan sepele. Tetapi saya bertanya-tanya mengapa pembelajaran yang mendalam (atau jaringan saraf) tidak bekerja dengan baik pada data berlabel kecil. Apa pun makalah penelitian yang saya baca, dataset mereka sangat besar. Secara intuitif itu tidak mengejutkan karena otak kita membutuhkan banyak waktu untuk melatih dirinya sendiri. Tetapi apakah ada bukti atau alasan matematis mengapa jaringan saraf tidak bekerja dengan baik dalam kasus seperti itu?

Jaringan saraf yang digunakan dalam model pembelajaran mendalam tipikal memiliki jumlah node yang sangat besar dengan banyak lapisan, dan karenanya banyak parameter yang harus diperkirakan. Ini membutuhkan banyak data. Jaringan saraf kecil (dengan lebih sedikit lapisan dan lebih sedikit parameter gratis) dapat berhasil dilatih dengan set data kecil - tetapi ini biasanya tidak akan digambarkan sebagai "pembelajaran mendalam".