Pertanyaan yang diberi tag «deep-learning»

Saya membaca makalah normalisasi batch (BN) (1) dan tidak mengerti perlunya menggunakan moving average untuk melacak akurasi model dan bahkan jika saya menerima bahwa itu adalah hal yang benar untuk dilakukan, saya tidak mengerti apa yang sebenarnya mereka lakukan. Menurut pemahaman saya (yang salah saya), makalah ini menyebutkan bahwa itu …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Dalam implementasi Tensorflow dari ResNet , saya menemukan mereka menggunakan initializer penskalaan varians, saya juga menemukan xavier initializer populer. Saya tidak punya terlalu banyak pengalaman dalam hal ini, mana yang lebih baik dalam praktiknya?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

Dengan semua pembicaraan media dan hype tentang pembelajaran mendalam hari ini, saya membaca beberapa hal mendasar tentang hal itu. Saya baru saja menemukan bahwa itu hanyalah metode pembelajaran mesin untuk mempelajari pola dari data. Tetapi pertanyaan saya adalah: di mana dan mengapa metode ini bersinar? Kenapa semua pembicaraan tentang itu …

20 machine-learning  data-mining  deep-learning  deep-belief-networks 

Saya memiliki model jaringan saraf yang dalam dan saya perlu melatihnya pada dataset saya yang terdiri dari sekitar 100.000 contoh, data validasi saya berisi sekitar 1000 contoh. Karena butuh waktu untuk melatih setiap contoh (sekitar 0,5 untuk setiap contoh) dan untuk menghindari overfitting, saya ingin menerapkan penghentian dini untuk mencegah …

20 neural-networks  deep-learning 

Dalam pelatihan jaringan saraf yang dalam dan dangkal, mengapa metode gradien (misalnya gradient descent, Nesterov, Newton-Raphson) umum digunakan, berbeda dengan metaheuristik lainnya? Metaheuristik yang saya maksud adalah metode seperti annealing yang disimulasikan, optimisasi koloni semut, dll., Yang dikembangkan untuk menghindari terjebak dalam minima lokal.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Saya ingin tahu seberapa penting bias node bagi efektivitas jaringan saraf modern. Saya dapat dengan mudah memahami bahwa ini penting dalam jaringan yang dangkal dengan hanya beberapa variabel input. Namun, jaring saraf modern seperti dalam pembelajaran yang mendalam sering memiliki sejumlah besar variabel input untuk memutuskan apakah neuron tertentu dipicu. …

19 neural-networks  deep-learning  bias-node 

Saya memahami lapisan convolutional dan pooling, tetapi saya tidak dapat melihat alasan untuk lapisan yang sepenuhnya terhubung di CNN. Mengapa tidak lapisan sebelumnya terhubung langsung ke lapisan keluaran?

19 neural-networks  deep-learning  conv-neural-network 

Saya mengerti struktur dasar autoencoder variasional dan autoencoder normal (deterministik) dan matematika di belakangnya, tetapi kapan dan mengapa saya lebih suka satu jenis autoencoder dari yang lain? Yang bisa saya pikirkan adalah distribusi sebelumnya variabel laten dari autoencoder variasional memungkinkan kita untuk mengambil sampel variabel laten dan kemudian membangun gambar …

19 deep-learning  autoencoders  variational-bayes 

Apakah ada perbedaan antara 'transfer pembelajaran' dan 'adaptasi domain'? Saya tidak tahu tentang konteks, tetapi pemahaman saya adalah bahwa kami memiliki beberapa dataset 1 dan melatihnya, setelah itu kami memiliki dataset 2 yang ingin kami sesuaikan dengan model kami tanpa pelatihan ulang dari awal, untuk mana 'transfer pembelajaran' dan 'adaptasi …

19 deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 

Sebagian besar jaringan saraf convolutional umum mengandung lapisan penyatuan untuk mengurangi dimensi fitur keluaran. Mengapa saya tidak dapat mencapai hal yang sama hanya dengan meningkatkan langkah lapisan konvolusional? Apa yang membuat lapisan pengumpulan diperlukan?

18 deep-learning  conv-neural-network  pooling 

Profesor fisika saya di sekolah pascasarjana, serta peraih Noble Feynman, akan selalu menyajikan apa yang mereka sebut model mainan untuk menggambarkan konsep dasar dan metode dalam fisika, seperti osilator harmonik, pendulum, spinning top, dan kotak hitam. Model mainan apa yang digunakan untuk menggambarkan konsep dasar dan metode yang mendasari penerapan …

18 machine-learning  neural-networks  deep-learning 

Saya mencari makalah atau teks yang membandingkan dan mendiskusikan (baik secara empiris atau teoritis): Algoritma Boosting dan Decision tree seperti Random Forests atau AdaBoost , dan GentleBoost diterapkan pada pohon keputusan. dengan Metode pembelajaran yang dalam seperti Mesin Boltzmann Terbatas , Memori Temporal Hirarki , Jaringan Neural Konvolusional , dll. …

18 machine-learning  deep-learning  cart  rbm  adaboost 

Banyak tutorial bicara online tentang gradient descent dan hampir semuanya menggunakan ukuran langkah tetap (tingkat pembelajaran ). Mengapa tidak ada penggunaan pencarian baris (seperti pencarian garis backtracking atau pencarian baris yang tepat)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Kami mendefinisikan zaman sebagai telah melalui keseluruhan dari semua sampel pelatihan yang tersedia, dan ukuran mini-batch sebagai jumlah sampel yang kami rata-rata menemukan pembaruan untuk bobot / bias yang diperlukan untuk turun gradien. Pertanyaan saya adalah apakah kita harus menggambar tanpa penggantian dari set contoh pelatihan untuk menghasilkan setiap mini-batch …

18 machine-learning  neural-networks  optimization  deep-learning 

Jika Anda memiliki setengah halaman untuk menjelaskan putus sekolah , bagaimana Anda akan melanjutkan? Yang merupakan alasan di balik teknik ini?

17 neural-networks  deep-learning  regularization  dropout