Pertanyaan yang diberi tag «neural-networks»

Kehilangan latihan saya turun dan naik lagi. Sangat aneh. Kehilangan validasi silang melacak kehilangan pelatihan. Apa yang sedang terjadi? Saya memiliki dua LSTMS yang ditumpuk sebagai berikut (pada Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Saya latih untuk 100 Zaman: model.fit(X_train, …

26 machine-learning  neural-networks  loss-functions  lstm 

Saya tertarik pada regresi dengan jaringan saraf. Jaringan saraf dengan nol simpul tersembunyi + koneksi skip-layer adalah model linier. Bagaimana dengan jaring saraf yang sama tetapi dengan simpul tersembunyi? Saya bertanya-tanya apa yang akan menjadi peran koneksi skip-layer? Secara intuitif, saya akan mengatakan bahwa jika Anda menyertakan koneksi skip-layer, maka …

26 regression  machine-learning  neural-networks  deep-learning 

Saya ingin menggunakan pembelajaran mendalam dalam proyek saya. Saya membaca beberapa makalah dan muncul pertanyaan: apakah ada perbedaan antara jaringan saraf konvolusi dan pembelajaran yang mendalam? Apakah hal-hal ini sama atau mereka memiliki perbedaan besar, dan mana yang lebih baik?

25 machine-learning  neural-networks  deep-learning  terminology  conv-neural-network 

Saya bertanya-tanya, mengapa begitu penting memiliki pembelajaran mesin berprinsip / teoretis? Dari sudut pandang pribadi sebagai manusia, saya bisa mengerti mengapa Machine Learning berprinsip akan menjadi penting: manusia suka memahami apa yang mereka lakukan, kami menemukan keindahan dan kepuasan untuk memahami. dari sudut pandang teori, matematika itu menyenangkan ketika ada …

25 machine-learning  neural-networks  conv-neural-network  theory 

Pertanyaan ini dimigrasikan dari Stack Overflow karena dapat dijawab pada Cross Validated. Bermigrasi 7 tahun yang lalu . Saya mencoba mempelajari bagaimana Neural Network bekerja pada pengenalan gambar. Saya telah melihat beberapa contoh dan menjadi semakin bingung. Dalam contoh pengenalan huruf dari gambar 20x20, nilai setiap piksel menjadi lapisan input. …

25 machine-learning  neural-networks  image-processing 

Diberikan fungsi biaya cembung, menggunakan SGD untuk optimisasi, kami akan memiliki gradien (vektor) pada titik tertentu selama proses optimasi. Pertanyaan saya adalah, mengingat titik pada cembung, apakah gradien hanya menunjuk pada arah di mana fungsi naik / turun tercepat, atau gradien selalu menunjuk pada titik optimal / ekstrim dari fungsi …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 2 tahun yang lalu . Masalah mendasar dengan pembelajaran mendalam dan jaringan saraf pada umumnya. Solusi yang sesuai …

25 machine-learning  neural-networks  svm  deep-learning 

Apa keuntungannya, mengapa seseorang menggunakan banyak LSTM, ditumpuk satu demi satu, dalam jaringan yang dalam? Saya menggunakan LSTM untuk mewakili urutan input sebagai input tunggal. Jadi, begitu saya memiliki representasi tunggal itu — mengapa saya harus melewatinya lagi? Saya bertanya ini karena saya melihat ini dalam program generasi bahasa alami.

25 classification  neural-networks  deep-learning  lstm  rnn 

Mengapa fungsi aktivasi unit linear yang diperbaiki (ReLU) dianggap non-linear? f( x ) = maks ( 0 , x )f(x)=max(0,x) f(x) = \max(0,x) Mereka linier ketika input positif dan dari pemahaman saya untuk membuka kekuatan representatif dari jaringan yang dalam, aktivasi non-linear adalah suatu keharusan, jika tidak seluruh jaringan dapat …

25 neural-networks  deep-learning 

Apa itu studi ablasi? Dan adakah cara sistematis untuk melakukannya? Sebagai contoh, saya memiliki prediktor dalam regresi linier yang akan saya sebut sebagai model saya.nnn Bagaimana saya akan melakukan studi ablasi untuk ini? Metrik apa yang harus saya gunakan? Sumber atau buku teks yang komprehensif akan dihargai.

25 regression  machine-learning  neural-networks 

Saya membaca tentang pengoptimal Adam untuk Deep Learning dan menemukan kalimat berikut dalam buku baru Deep Learning karya Bengio, Goodfellow dan Courville: Adam umumnya dianggap cukup kuat untuk memilih parameter hiper, meskipun tingkat pembelajaran kadang-kadang perlu diubah dari standar yang disarankan. jika ini benar, ini adalah masalah besar karena pencarian …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Saya tahu pertanyaan / judul saya tidak terlalu spesifik, jadi saya akan mencoba menjelaskannya: Jaringan saraf tiruan memiliki desain yang relatif ketat. Tentu saja, secara umum, mereka dipengaruhi oleh biologi dan mencoba untuk membangun model matematika dari jaringan saraf nyata, tetapi pemahaman kita tentang jaringan saraf nyata tidak cukup untuk …

24 machine-learning  neural-networks  bioinformatics  artificial-intelligence  neuroscience 

Saya memiliki 50.000 gambar seperti ini: Mereka menggambarkan grafik data. Saya ingin mengekstrak fitur dari gambar-gambar ini sehingga saya menggunakan kode autoencoder yang disediakan oleh Theano (deeplearning.net). Masalahnya adalah, autoencoder ini sepertinya tidak mempelajari fitur apa pun. Saya sudah mencoba RBM dan itu sama. Dataset MNIST menyediakan fitur yang bagus …

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

Dalam Alex Krizhevsky, et al. Klasifikasi imagenet dengan jaringan saraf convolutional yang mendalam mereka menyebutkan jumlah neuron di setiap lapisan (lihat diagram di bawah). Input jaringan adalah 150.528-dimensi, dan jumlah neuron dalam lapisan jaringan yang tersisa diberikan oleh 253.440–186.624–64.889–64.889–43.264–4096–4096–1000. Tampilan 3D Jumlah neuron untuk semua lapisan setelah yang pertama jelas. …

24 neural-networks  deep-learning  conv-neural-network 

Apa perbedaan antara dropout dan drop connect? AFAIK, dropout drop secara acak node tersembunyi selama pelatihan tetapi tetap mereka dalam pengujian, dan drop koneksi koneksi drop. Tetapi bukankah menjatuhkan koneksi sama dengan menjatuhkan node yang tersembunyi? Bukankah node (atau koneksi) hanya satu set bobot?

24 neural-networks  dropout