Pertanyaan yang diberi tag «neural-networks»

Saya belum menemukan jawaban yang memuaskan untuk ini dari google . Tentu saja jika data yang saya miliki adalah urutan jutaan maka pembelajaran mendalam adalah caranya. Dan saya telah membaca bahwa ketika saya tidak memiliki data besar maka mungkin lebih baik menggunakan metode lain dalam pembelajaran mesin. Alasan yang diberikan …

15 regression  machine-learning  classification  neural-networks  deep-learning 

Saya mencoba mempelajari cara menggunakan Neural Networks. Saya sedang membaca tutorial ini . Setelah memasang Neural Network pada Time Series menggunakan nilai pada untuk memprediksi nilai pada t + 1 penulis memperoleh plot berikut, di mana garis biru adalah seri waktu, hijau adalah prediksi pada data kereta, merah adalah prediksi …

15 time-series  neural-networks  predictive-models  deep-learning  prediction 

Pada titik mana kita mulai mengklasifikasikan jaringan saraf berlapis ganda sebagai jaringan saraf dalam atau dengan kata lain 'Berapa jumlah minimum lapisan dalam jaringan saraf dalam?'

15 machine-learning  neural-networks  deep-learning  terminology 

Ketika saya menerapkan gradien batch mini yang layak, saya hanya rata-rata gradien dari semua contoh dalam batch pelatihan. Namun, saya perhatikan bahwa sekarang tingkat belajar optimal jauh lebih tinggi daripada gradien online yang layak. Intuisi saya adalah ini karena gradien rata-rata kurang berisik dan dengan demikian dapat diikuti lebih cepat. …

15 neural-networks  gradient-descent  backpropagation 

Sebagai tindak lanjut dari jaringan saraf saya, saya bahkan tidak bisa mempelajari jarak Euclidean. Saya menyederhanakan lebih banyak lagi dan mencoba melatih satu ReLU tunggal (dengan berat acak) menjadi satu ReLU tunggal. Ini adalah jaringan paling sederhana yang ada, namun separuh dari waktu gagal untuk bertemu. Jika tebakan awal berada …

15 machine-learning  neural-networks  optimization  keras 

Bisakah seseorang tolong beri tahu saya bagaimana saya seharusnya membangun jaringan saraf menggunakan metode batch? Saya telah membaca bahwa, dalam mode batch, untuk semua sampel dalam set pelatihan, kami menghitung kesalahan, delta dan dengan demikian bobot delta untuk setiap neuron dalam jaringan dan kemudian alih-alih segera memperbarui bobot, kami mengakumulasikannya, …

15 machine-learning  neural-networks 

Apa turunan dari fungsi aktivasi ReLU didefinisikan sebagai: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Bagaimana dengan kasus khusus di mana ada diskontinuitas dalam fungsi di ?x=0x=0x=0

15 self-study  neural-networks 

Dalam pelatihan mini-batch jaringan saraf, saya mendengar bahwa praktik penting adalah mengocok data pelatihan sebelum setiap zaman. Adakah yang bisa menjelaskan mengapa pengocokan pada setiap zaman membantu? Dari pencarian google, saya menemukan jawaban berikut: ini membantu pelatihan bertemu dengan cepat itu mencegah bias selama pelatihan itu mencegah model dari belajar …

15 neural-networks 

Saya membaca tentang pengoptimal Adam untuk Deep Learning dan menemukan kalimat berikut dalam buku baru Deep Learning oleh Begnio, Goodfellow dan Courtville: Adam menyertakan koreksi bias pada estimasi momen momen orde pertama (istilah momentum) dan momen orde kedua (tanpa fokus) untuk memperhitungkan inisialisasi mereka di titik asal. tampaknya alasan utama …

15 machine-learning  neural-networks  optimization  conv-neural-network  adam 

Tempat saya telah membaca tentang kutukan dimensionalitas menjelaskannya dalam hubungannya dengan kNN terutama, dan model linier secara umum. Saya secara teratur melihat peringkat teratas di Kaggle menggunakan ribuan fitur pada dataset yang hampir tidak memiliki 100k titik data. Mereka terutama menggunakan pohon Boosted dan NN, antara lain. Banyak fitur yang …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

Dalam pembelajaran mesin dasar kita diajarkan "aturan praktis" berikut: a) ukuran data Anda harus setidaknya 10 kali ukuran dimensi VC dari set hipotesis Anda. b) jaringan saraf dengan koneksi N memiliki dimensi VC sekitar N. Jadi ketika sebuah jaringan saraf pembelajaran yang dalam mengatakan, jutaan unit, apakah ini berarti kita …

15 machine-learning  neural-networks  deep-learning  vc-dimension 

Tensorflow memiliki contoh tutorial tentang mengklasifikasikan CIFAR-10 . Pada tutorial, rata-rata kehilangan entropi silang di seluruh batch diminimalkan. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from distorted_inputs or inputs(). 1-D tensor of shape …

15 neural-networks  loss-functions  tensorflow 

Saya melatih jaringan saraf menggunakan i) SGD dan ii) Adam Optimizer. Saat menggunakan SGD normal, saya mendapatkan loss pelatihan yang mulus vs kurva iterasi seperti terlihat di bawah ini (yang merah) Namun, ketika saya menggunakan Adam Optimizer, kurva kehilangan pelatihan memiliki beberapa lonjakan. Apa penjelasan dari paku-paku ini? Detail Model: …

15 neural-networks  deep-learning  adam 

Dalam convolutional neural networks (CNN), matriks bobot pada setiap langkah mendapatkan baris dan kolom terbalik untuk mendapatkan matriks kernel, sebelum melanjutkan dengan konvolusi. Ini dijelaskan pada serangkaian video oleh Hugo Larochelle di sini : Menghitung peta yang tersembunyi akan sesuai dengan melakukan konvolusi diskrit dengan saluran dari lapisan sebelumnya, menggunakan …

14 machine-learning  neural-networks  conv-neural-network  convolution 

Dalam jaringan saraf berulang, Anda biasanya akan maju merambat melalui beberapa langkah waktu, "membuka gulungan" jaringan, dan kemudian kembali merambat melintasi urutan input. Mengapa Anda tidak hanya memperbarui bobot setelah masing-masing langkah dalam urutan? (setara dengan menggunakan panjang pemotongan 1, sehingga tidak ada yang membuka gulungan) Ini benar-benar menghilangkan masalah …

14 time-series  neural-networks  backpropagation  rnn