Apa itu * Jaringan Syaraf Tiruan?

Ketika kita mempelajari literatur Neural Networks , kita dapat mengidentifikasi metode lain dengan topologi neuromorfik (arsitektur seperti Neural-Network). Dan saya tidak berbicara tentang Teorema Perkiraan Universal . Contoh diberikan di bawah ini.

Lalu, itu membuat saya bertanya-tanya: apa definisi Jaringan Syaraf Tiruan buatan? Topologinya tampaknya mencakup segalanya.

Contoh:

Salah satu identifikasi pertama yang kami buat adalah antara PCA dan Autoencoder linier dengan ikatan-bobot dalam encoder dan dekoder serta aktivasi yang di-threshold di lapisan bottleneck.

Juga, identifikasi umum dilakukan antara model linier (regresi logistik khusus) dan Jaringan Saraf Tiruan tanpa lapisan tersembunyi dan lapisan keluaran tunggal. Identifikasi ini membuka beberapa pintu.

Seri Fourier dan Taylor? JST . SVM ? JST. Proses Gaussian? JST (dengan lapisan tersembunyi tunggal dengan unit tersembunyi tak terbatas).

Jadi, sama mudahnya, kita dapat menggabungkan versi yang diatur secara sewenang-wenang dengan fungsi kerugian khusus dari algoritma ini ke dalam kerangka kerja Jaringan Saraf Tiruan.

Tetapi semakin kita menggali, semakin banyak kesamaan yang muncul. Saya baru saja tersandung ke Deep Neural Decision Trees , yang membuat identifikasi arsitektur JST spesifik dengan pohon keputusan, yang memungkinkan ini dipelajari dengan metode JST (seperti backpropagation Descent Gradient Descent). Dari sini kita dapat membangun Random Forests dan Gradient Boosted Decision Trees hanya dari topologi Neural Network.

Jika semuanya dapat dinyatakan sebagai Jaringan Syaraf Tiruan, apa yang mendefinisikan Jaringan Syaraf Tiruan?

Jürgen Schmidhuber, " Pembelajaran Jauh dalam Jaringan Saraf Tiruan: Suatu Tinjauan " menelusuri sejarah konsep-konsep kunci dalam jaringan saraf dan pembelajaran mendalam. Dalam pandangannya, jaringan saraf akan muncul untuk mencakup dasarnya setiap model yang dapat dikarakterisasikan sebagai grafik terarah di mana setiap node mewakili beberapa unit komputasi. Schmidhuber adalah peneliti jaringan saraf terkemuka, dan menulis makalah asli pada jaringan LSTM dengan Sepp Hochreiter.

Komponen yang dapat dimodifikasi dari sistem pembelajaran yang bertanggung jawab atas keberhasilan atau kegagalannya? Perubahan apa yang mereka lakukan untuk meningkatkan kinerja? Ini telah disebut masalah penugasan kredit mendasar (Minsky, 1963). Ada metode penetapan kredit umum untuk pemecah masalah universal yang optimal waktu dalam berbagai pengertian teoretis (Bagian 6.8). Namun, survei ini akan fokus pada sub-bidang Deep Learning (DL) yang lebih sempit, tetapi sekarang penting secara komersial dalam Jaringan Syaraf Tiruan (NNs).

Standar jaringan saraf (NN) terdiri dari banyak prosesor sederhana yang terhubung yang disebut neuron, masing-masing menghasilkan urutan aktivasi bernilai nyata. Neuron input diaktifkan melalui sensor yang memahami lingkungan, neuron lain diaktifkan melalui koneksi tertimbang dari neuron yang sebelumnya aktif (rincian dalam Bagian 2). Beberapa neuron dapat memengaruhi lingkungan dengan memicu tindakan. Tugas belajar atau kredit adalah tentang menemukan bobot yang membuat NN menunjukkan perilaku yang diinginkan, seperti mengendarai mobil. Tergantung pada masalah dan bagaimana neuron terhubung, perilaku tersebut mungkin memerlukan rantai sebab akibat yang panjang dari tahap komputasi (Bagian 3), di mana setiap tahap mengubah (sering dengan cara non-linear) aktivasi agregat jaringan. Deep Learning adalah tentang memberikan kredit secara akurat di berbagai tahapan tersebut.

Model seperti NN dangkal dengan beberapa tahapan seperti telah ada selama beberapa dekade jika tidak berabad-abad (Bagian 5.1). Model dengan beberapa lapisan neuron nonlinier berurutan telah ada sejak tahun 1960an (Bagian 5.3) dan 1970an (Bagian 5.5). Metode gradient descent yang efisien untuk Supervisi Pembelajaran (SL) berbasis guru di jaringan terpisah yang terdiferensiasi dan berbeda yang disebut backpropagation (BP) dikembangkan secara terpisah pada 1960-an dan 1970-an, dan diterapkan pada NNs pada 1981 (Bagian 5.5). Namun, pelatihan berbasis NNs berbasis BP dengan banyak lapisan, ternyata sulit dilakukan pada akhir 1980-an (Bagian 5.6), dan telah menjadi subjek penelitian eksplisit pada awal 1990-an (Bagian 5.9). DL menjadi praktis layak sampai batas tertentu melalui bantuan Unsupervised Learning (UL), misalnya, Sec. 5.10 (1991), Sec. 5.15 (2006). 1990-an dan 2000-an juga melihat banyak perbaikan DL murni diawasi (Bagian 5). Dalam milenium baru, NN dalam akhirnya menarik perhatian luas, terutama dengan mengungguli metode pembelajaran mesin alternatif seperti mesin kernel (Vapnik, 1995; Scholkopf et al., 1998) dalam berbagai aplikasi penting. Bahkan, sejak 2009, NN dalam yang diawasi telah memenangkan banyak kompetisi pengenalan pola internasional resmi (misalnya, Bagian 5.17, 5.19, 5.21, 5.22), mencapai hasil pengenalan pola visual manusia super pertama dalam domain terbatas (Bagian 5.19, 2011). Deep NNs juga menjadi relevan untuk bidang yang lebih umum dari Reinforcement Learning (RL) di mana tidak ada guru pembimbing (Bagian 6). terutama dengan mengungguli metode pembelajaran mesin alternatif seperti mesin kernel (Vapnik, 1995; Scholkopf et al., 1998) dalam berbagai aplikasi penting. Bahkan, sejak 2009, NN dalam yang diawasi telah memenangkan banyak kompetisi pengenalan pola internasional resmi (misalnya, Bagian 5.17, 5.19, 5.21, 5.22), mencapai hasil pengenalan pola visual manusia super pertama dalam domain terbatas (Bagian 5.19, 2011). Deep NNs juga menjadi relevan untuk bidang yang lebih umum dari Reinforcement Learning (RL) di mana tidak ada guru pembimbing (Bagian 6). terutama dengan mengungguli metode pembelajaran mesin alternatif seperti mesin kernel (Vapnik, 1995; Scholkopf et al., 1998) dalam berbagai aplikasi penting. Bahkan, sejak 2009, NN dalam yang diawasi telah memenangkan banyak kompetisi pengenalan pola internasional resmi (misalnya, Bagian 5.17, 5.19, 5.21, 5.22), mencapai hasil pengenalan pola visual manusia super pertama dalam domain terbatas (Bagian 5.19, 2011). Deep NNs juga menjadi relevan untuk bidang yang lebih umum dari Reinforcement Learning (RL) di mana tidak ada guru pembimbing (Bagian 6). mencapai hasil pengenalan pola visual manusia super pertama dalam domain terbatas (Bagian 5.19, 2011). Deep NNs juga menjadi relevan untuk bidang yang lebih umum dari Reinforcement Learning (RL) di mana tidak ada guru pembimbing (Bagian 6). mencapai hasil pengenalan pola visual manusia super pertama dalam domain terbatas (Bagian 5.19, 2011). Deep NNs juga menjadi relevan untuk bidang yang lebih umum dari Reinforcement Learning (RL) di mana tidak ada guru pembimbing (Bagian 6).

Di sisi lain, saya tidak yakin bahwa itu selalu menguntungkan untuk mencoba dan membangun taksonomi ember yang saling eksklusif untuk strategi pembelajaran mesin. Saya pikir kita dapat mengatakan bahwa ada perspektif dari mana model dapat dilihat sebagai jaringan saraf. Saya tidak berpikir bahwa perspektif adalah yang terbaik atau berguna dalam semua konteks. Sebagai contoh, saya masih berencana untuk merujuk pada hutan acak dan gradien meningkatkan pohon sebagai "ansambel pohon" daripada mengabstraksi perbedaan mereka dan memanggil mereka "pohon jaringan saraf". Selain itu, Schmidhuber membedakan NN dari mesin kernel - meskipun mesin kernel memiliki beberapa koneksi ke NN - ketika ia menulis "Di milenium baru, NN dalam akhirnya menarik perhatian luas," terutama dengan mengungguli metode pembelajaran mesin alternatif seperti mesin kernel ... dalam berbagai aplikasi penting. "

Jika Anda menginginkan definisi dasar dari JST, Anda mungkin mengatakan bahwa itu adalah model-diarahkan-grafis, di mana input dan output diproses pada setiap node melalui fungsi aktivasi, dan sebagian besar waktu gradient descent digunakan untuk melatihnya. Jadi pertanyaannya benar-benar menjadi: model apa di luar sana yang dapat dinyatakan sebagai model grafis?

Saya bukan ahli tetapi, saya percaya secara teoritis beberapa JST dapat ditampilkan sebagai Turing lengkap, yang berarti bahwa mereka harus dapat melakukan serangkaian perhitungan yang mungkin (dengan kemungkinan sumber daya yang tak terbatas , ingatlah).

Saya juga akan menafsirkan pertanyaan Anda dengan cara berikut:

Untuk model apa pun, dapatkah saya menampar bersama model JST untuk meniru model itu, sedekat mungkin, dan dalam jumlah waktu yang wajar?

Jaringan saraf vanila dapat meniru pohon keputusan, dengan menggunakan aktivasi langkah heaviside. Masalahnya adalah bahwa aktivasi unit tersebut memiliki gradien nol, sehingga keturunan gradien normal tidak akan berfungsi. Anda mungkin berkata, "tidak masalah, cukup gunakan bentuk gradient descent yang dimodifikasi." Namun, itu masih belum cukup. Untuk contoh yang lebih baik, ambil sesuatu seperti XGBOOST, yang bukan hanya hutan yang didorong oleh gradien. Ada banyak pekerjaan ekstra yang harus dilakukan dalam memilih titik split, pemangkasan, mengoptimalkan kecepatan, dll. Mungkin setelah modifikasi yang cukup Anda dapat membuat JST yang mirip, tetapi sama sekali tidak jelas bahwa JST seperti itu akan melakukan setidaknya sebagai baik, atau jika itu dioptimalkan untuk melakukan pekerjaan itu.

$f(x)=e^{x}$

Mungkin, nama yang lebih akurat untuk JST adalah "jaringan terdiferensiasi", yaitu fungsi parametrized kompleks yang dapat dioptimalkan menggunakan gradient descent atau variannya. Ini adalah definisi yang sangat umum yang menekankan diferensiasi, tetapi tidak memberi tahu apa-apa tentang ide-ide pokok, tugas-tugas yang cocok untuknya, kerangka matematika yang mendasarinya, dll.

Perhatikan bahwa diferensiabilitas adalah suatu sifat, bukan yang utama. Sebagai contoh, SVM dapat dilatih menggunakan gradient descent dan dengan demikian menunjukkan sifat-sifat jaringan neural / terdiferensiasi, tetapi ide utamanya adalah dalam pemisahan data menggunakan hyperplanes. Autoencoder variasi menggunakan MLP untuk encoder dan decoder, tetapi fungsi yang Anda optimalkan berasal dari statistik Bayesian, dan sebagainya.

Ada juga beberapa model yang sering disebut sebagai jaringan saraf tetapi tidak menggunakan GD untuk belajar. Contoh yang baik adalah RBM. Dugaan saya adalah bahwa label "jaringan saraf" dilekatkan padanya sebagian besar karena alasan historis - akhirnya, pencipta RBM adalah Geoffrey Hinton, dan Hinton adalah seorang pria jaringan saraf, bukan? Namun, jika Anda menganalisis model, Anda akan melihat bahwa struktur RBM adalah jaring Markov, fungsi biaya berbasis energi berasal dari fisika statistik awal abad ke-20 dan pengambilan sampel MCMC / Gibbs telah berkembang secara paralel dan sepenuhnya independen dari jaringan saraf .

Saya mungkin mencoba untuk mendalilkan beberapa hal yang membantu mendefinisikan Jaringan Saraf Tiruan.

• Grafik perhitungan dengan parameter yang bisa disesuaikan.
• Parameter tersebut dapat disesuaikan agar sesuai dengan data (nyata atau disimulasikan).
• Fungsi obyektif yang akan dioptimalkan terlibat secara implisit atau eksplisit. Ini bisa bersifat global atau lokal pada parameter.

Saya cukup yakin ini mencakup semua jaringan saraf yang umum digunakan saat ini dan juga beberapa yang esoteris.

Agnostik terhadap optimasi (jika kami memberlakukan optimasi berbasis gradien, maka jaringan yang berkembang tidak akan menjadi jaringan saraf).

Itu tidak menyebutkan neuron / node atau layer (beberapa jaringan saraf saat ini sulit dijelaskan oleh istilah-istilah ini), tapi saya kira kita bisa memasukkan itu dan menjadi sedikit lebih ketat.