Pertanyaan yang diberi tag «backpropagation»

Ini adalah pertanyaan konseptual kecil yang telah mengganggu saya untuk sementara waktu: Bagaimana kita dapat kembali-menyebar melalui lapisan max-pooling dalam jaringan saraf? Saya menemukan max-pooling layers saat membaca tutorial ini untuk library nn Torch 7. Pustaka mengabstraksi perhitungan gradien dan meneruskan untuk setiap lapisan jaringan yang dalam. Saya tidak mengerti …

62 neural-network  backpropagation 

Saya telah menggunakan jaringan saraf untuk sementara waktu sekarang. Namun, satu hal yang selalu saya perjuangkan adalah pemilihan pengoptimal untuk melatih jaringan (menggunakan backprop). Apa yang biasanya saya lakukan hanyalah mulai dengan satu (misalnya SGD standar) dan kemudian coba yang lain cukup banyak secara acak. Saya bertanya-tanya apakah ada pendekatan …

18 neural-network  optimization  backpropagation 

Saya mengalami beberapa kesulitan dalam menurunkan propagasi kembali dengan ReLU, dan saya melakukan beberapa pekerjaan, tetapi saya tidak yakin apakah saya berada di jalur yang benar. Fungsi Biaya: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2di manayyyadalah nilai riil, dan y adalah nilai prediksi. Juga asumsikanx> 0 selalu.y^y^\hat yxxx 1 Layer ReLU, di mana bobot pada …

17 neural-network  backpropagation 

Apakah saya akan mengenakan LSTM saya jika saya melatihnya melalui pendekatan sliding-window? Mengapa orang tampaknya tidak menggunakannya untuk LSTM? Untuk contoh yang disederhanakan, asumsikan bahwa kita harus memprediksi urutan karakter: A B C D E F G H I J K L M N O P Q R S T …

15 lstm  backpropagation  mini-batch-gradient-descent 

Saya memiliki CNN berikut: Saya mulai dengan gambar input berukuran 5x5 Kemudian saya menerapkan konvolusi menggunakan kernel 2x2 dan melangkah = 1, yang menghasilkan fitur peta ukuran 4x4. Lalu saya menerapkan 2x2 max-pooling dengan stride = 2, yang mengurangi fitur map menjadi ukuran 2x2. Kemudian saya menerapkan sigmoid logistik. Kemudian …

15 machine-learning  convnet  backpropagation  cnn  kernel 

Saya punya sub-pertanyaan kecil untuk pertanyaan ini . Saya mengerti bahwa ketika kembali-merambat melalui lapisan pooling max gradien dirutekan kembali dengan cara yang neuron di lapisan sebelumnya yang dipilih sebagai max mendapatkan semua gradien. Yang saya tidak yakin 100% adalah bagaimana gradien pada lapisan berikutnya akan dialihkan kembali ke lapisan …

13 machine-learning  neural-network  convnet  backpropagation 

Saya mencoba mencari tahu berapa berat dan bias yang dibutuhkan untuk CNN. Katakanlah saya memiliki (3, 32, 32) gambar dan ingin menerapkan filter (32, 5, 5). Untuk setiap peta fitur, saya memiliki bobot 5x5, jadi saya harus memiliki parameter 3 x (5x5) x 32. Sekarang saya perlu menambahkan bias. Saya …

11 deep-learning  convnet  backpropagation 

Mari kita asumsikan bahwa kita menggunakan ukuran batch 100 sampel untuk belajar. Jadi dalam setiap batch, berat setiap neuron (dan bias, dll) sedang diperbarui dengan menambahkan minus dari tingkat pembelajaran * nilai kesalahan rata-rata yang kami temukan menggunakan 100 sampel * turunan dari fungsi kesalahan sehubungan dengan berat neuron saat …

10 neural-network  deep-learning  backpropagation 

Saya memiliki dua tensor a:[batch_size, dim] b:[batch_size, dim]. Saya ingin melakukan produk dalam untuk setiap pasangan dalam batch, menghasilkan c:[batch_size, 1], di mana c[i,0]=a[i,:].T*b[i,:]. Bagaimana?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

Saya baru-baru melakukan pekerjaan rumah di mana saya harus belajar model untuk klasifikasi 10 digit MNIST. HW memiliki beberapa kode perancah dan saya seharusnya bekerja dalam konteks kode ini. Pekerjaan rumah saya bekerja / lulus tes tetapi sekarang saya mencoba untuk melakukan semuanya dari awal (kerangka kerja saya sendiri, tidak …

8 backpropagation 

Saya dapat melihat dua motif untuk menggunakan Gradien Sintetis di RNN: Untuk mempercepat pelatihan, dengan segera mengoreksi setiap lapisan dengan gradien yang diprediksi Untuk dapat mempelajari urutan yang lebih lama Saya melihat masalah dengan keduanya. Harap dicatat, saya sangat suka Gradien Sintetis dan ingin menerapkannya. Tetapi saya perlu memahami di …

8 backpropagation 

Ini adalah fakta yang diketahui bahwa jaringan 1-layer tidak dapat memprediksi fungsi xor, karena tidak dapat dipisahkan secara linear. Saya mencoba membuat jaringan 2-layer, menggunakan fungsi sigmoid logistik dan backprop, untuk memprediksi xor. Jaringan saya memiliki 2 neuron (dan satu bias) pada lapisan input, 2 neuron dan 1 bias di …

8 neural-network  backpropagation