Pertanyaan yang diberi tag «deep-learning»

Al Rahimi baru-baru ini memberikan ceramah yang sangat provokatif di NIPS 2017 membandingkan Machine Learning saat ini dengan Alkimia. Salah satu klaimnya adalah bahwa kita perlu kembali ke perkembangan teoretis, untuk memiliki teorema sederhana yang membuktikan hasil dasar. Ketika dia mengatakan itu, saya mulai mencari teorema utama untuk ML, tetapi …

45 machine-learning  deep-learning  theory 

Saya mencoba untuk memahami bagian konvolusi dari jaringan saraf convolutional. Melihat gambar berikut: Saya tidak memiliki masalah memahami lapisan konvolusi pertama di mana kami memiliki 4 kernel yang berbeda (ukuran ), yang kami gabungkan dengan gambar input untuk mendapatkan 4 peta fitur.k×kk×kk \times k Yang tidak saya mengerti adalah lapisan …

44 machine-learning  neural-networks  deep-learning  conv-neural-network 

Saya ingin belajar Neural Networks. Saya seorang Ahli Bahasa Komputasi. Saya tahu pendekatan pembelajaran mesin statistik dan dapat kode dalam Python. Saya ingin memulai dengan konsep-konsepnya, dan mengetahui satu atau dua model populer yang mungkin berguna dari perspektif Linguistik Komputasi. Saya melihat-lihat web untuk referensi dan menemukan beberapa buku dan …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

Saya telah menemukan bahwa Imagenet dan CNN besar lainnya menggunakan lapisan normalisasi respons lokal. Namun, saya tidak dapat menemukan banyak informasi tentang mereka. Seberapa penting mereka dan kapan mereka harus digunakan? Dari http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "Lapisan normalisasi respons lokal melakukan semacam" penghambatan lateral "dengan menormalkan lebih dari daerah input lokal. Dalam …

41 deep-learning  convolution  conv-neural-network 

Saya menemukan unit linear diperbaiki (ReLU) dipuji di beberapa tempat sebagai solusi untuk masalah gradien menghilang untuk jaringan saraf. Artinya, seseorang menggunakan maks (0, x) sebagai fungsi aktivasi. Ketika aktivasi positif, jelas bahwa ini lebih baik daripada, katakanlah, fungsi aktivasi sigmoid, karena derivasiasinya selalu 1 bukannya nilai kecil sewenang-wenang untuk …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Saya mencari makalah yang dapat membantu dalam memberikan pedoman tentang bagaimana memilih hyperparameter arsitektur yang mendalam, seperti auto-encoders stacked atau jaringan deep trust. Ada banyak hiperparameter dan saya sangat bingung bagaimana memilihnya. Juga menggunakan validasi silang bukan pilihan karena pelatihan benar-benar membutuhkan banyak waktu!

38 machine-learning  deep-learning  deep-belief-networks  hyperparameter 

Suatu masalah yang sering saya lihat dalam konteks Neural Networks pada umumnya, dan Deep Neural Networks pada khususnya, adalah bahwa mereka "lapar data" - yaitu mereka tidak berkinerja baik kecuali kita memiliki kumpulan data yang besar untuk melatih jaringan. Pemahaman saya adalah bahwa ini disebabkan oleh fakta bahwa NNets, terutama …

37 neural-networks  deep-learning  regularization 

Saya melatih jaringan saraf dan kehilangan pelatihan berkurang, tetapi kehilangan validasi tidak, atau berkurang jauh lebih sedikit daripada yang saya harapkan, berdasarkan referensi atau percobaan dengan arsitektur dan data yang sangat mirip. Bagaimana saya bisa memperbaikinya? Adapun pertanyaan Apa yang harus saya lakukan ketika jaringan saraf saya tidak belajar? dimana …

37 neural-networks  deep-learning 

Apa perbedaan antara istilah "kernel" dan "filter" dalam konteks jaringan saraf convolutional?

37 neural-networks  terminology  deep-learning  conv-neural-network 

Saya membuat jaringan saraf convolutional (CNN), di mana saya memiliki lapisan convolutional diikuti oleh lapisan penyatuan dan saya ingin menerapkan dropout untuk mengurangi overfitting. Saya memiliki perasaan bahwa lapisan dropout harus diterapkan setelah lapisan penggabungan, tetapi saya tidak benar-benar memiliki apa pun untuk mendukungnya. Di mana tempat yang tepat untuk …

35 deep-learning  conv-neural-network  dropout 

Pengkodean jarang didefinisikan sebagai pembelajaran kumpulan vektor basis yang terlalu lengkap untuk mewakili vektor input (<- mengapa kita menginginkan ini). Apa perbedaan antara pengkodean jarang dan autoencoder? Kapan kita akan menggunakan pengkodean dan autoencoder yang jarang?

35 machine-learning  neural-networks  unsupervised-learning  deep-learning  autoencoders 

Adakah yang melihat literatur tentang pra-pelatihan dalam jaringan saraf convolutional yang mendalam? Saya hanya melihat pra-pelatihan tanpa pengawasan di autoencoder atau mesin boltzman terbatas.

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

Komputer sudah lama bisa bermain catur menggunakan teknik "brute-force", mencari ke kedalaman tertentu dan kemudian mengevaluasi posisi. Namun komputer AlphaGo, hanya menggunakan JST untuk mengevaluasi posisi (itu tidak melakukan pencarian mendalam sejauh yang saya tahu). Apakah mungkin untuk membuat mesin catur yang memainkan catur dengan cara yang sama seperti AlphaGo …

32 neural-networks  deep-learning  reinforcement-learning  games 

Latar Belakang Pengantar Dalam jaringan saraf convolutional, kami biasanya memiliki struktur / aliran umum yang terlihat seperti ini: input gambar (yaitu vektor 2D x) (Lapisan Konvolusional 1 (Konv1) dimulai di sini ...) menggabungkan satu set filter ( w1) di sepanjang gambar 2D (yaitu melakukan z1 = w1*x + b1penggandaan produk …

32 neural-networks  deep-learning  conv-neural-network 

Hinton dan Salakhutdinov dalam Mengurangi Dimensi Data dengan Neural Networks, Science 2006 mengusulkan PCA non-linear melalui penggunaan autoencoder yang mendalam. Saya telah mencoba membangun dan melatih autoencoder PCA dengan Tensorflow beberapa kali tetapi saya tidak pernah dapat memperoleh hasil yang lebih baik daripada PCA linier. Bagaimana saya bisa melatih autoencoder …

31 pca  python  deep-learning  tensorflow  autoencoders