Pertanyaan yang diberi tag «neural-network»

Saya mencoba untuk melatih jaringan saraf tiruan dengan dua lapisan convolutional (c1, c2) dan dua lapisan tersembunyi (c1, c2). Saya menggunakan pendekatan backpropagation standar. Dalam pass mundur saya menghitung istilah kesalahan lapisan (delta) berdasarkan kesalahan lapisan sebelumnya, bobot lapisan sebelumnya dan gradien aktivasi sehubungan dengan fungsi aktivasi lapisan saat ini. …

10 machine-learning  data-mining  neural-network  deep-learning 

Saya telah membangun jaringan saraf tiruan dalam python menggunakan fungsi optimisasi scipy.optimize.minimize (Conjugate gradient). Saya telah menerapkan pemeriksaan gradien, mengecek semuanya dll dan saya cukup yakin itu berfungsi dengan benar. Saya telah menjalankannya beberapa kali dan mencapai 'Pengoptimalan berhasil dihentikan' namun ketika saya meningkatkan jumlah lapisan tersembunyi, biaya hipotesis meningkat …

10 machine-learning  python  neural-network 

Normalisasi Batch dijelaskan dalam makalah ini sebagai normalisasi input ke fungsi aktivasi dengan skala dan variabel bergeserγγ\gamma dan ββ\beta. Makalah ini terutama menjelaskan menggunakan fungsi aktivasi sigmoid, yang masuk akal. Namun, bagi saya tampaknya memberi makan input dari distribusi normal yang dihasilkan oleh normalisasi batch menjadi fungsi aktivasi ReLU darim …

10 machine-learning  neural-network  deep-learning  batch-normalization 

Saya sudah membaca penjelasan konvolusi dan memahaminya sampai batas tertentu. Adakah yang bisa membantu saya memahami bagaimana operasi ini berhubungan dengan konvolusi dalam Jaring Saraf Konvolusional? Apakah fungsi seperti filter gyang menerapkan bobot?

10 machine-learning  neural-network  deep-learning  cnn  convolution  machine-learning  ensemble-modeling  machine-learning  classification  data-mining  clustering  machine-learning  feature-selection  convnet  pandas  graphs  ipython  machine-learning  apache-spark  multiclass-classification  naive-bayes-classifier  multilabel-classification  machine-learning  data-mining  dataset  data-cleaning  data  machine-learning  data-mining  statistics  correlation  machine-learning  data-mining  dataset  data-cleaning  data  beginner  career  python  r  visualization  machine-learning  data-mining  nlp  stanford-nlp  dataset  linear-regression  time-series  correlation  anomaly-detection  ensemble-modeling  data-mining  machine-learning  python  data-mining  recommender-system  machine-learning  cross-validation  model-selection  scoring  prediction  sequential-pattern-mining  categorical-data  python  tensorflow  image-recognition  statistics  machine-learning  data-mining  predictive-modeling  data-cleaning  preprocessing  classification  deep-learning  tensorflow  machine-learning  algorithms  data  keras  categorical-data  reference-request  loss-function  classification  logistic-regression  apache-spark  prediction  naive-bayes-classifier  beginner  nlp  word2vec  vector-space-models  scikit-learn  decision-trees  data  programming 

Mari kita asumsikan bahwa kita menggunakan ukuran batch 100 sampel untuk belajar. Jadi dalam setiap batch, berat setiap neuron (dan bias, dll) sedang diperbarui dengan menambahkan minus dari tingkat pembelajaran * nilai kesalahan rata-rata yang kami temukan menggunakan 100 sampel * turunan dari fungsi kesalahan sehubungan dengan berat neuron saat …

10 neural-network  deep-learning  backpropagation 

Saya ingin dapat memperkirakan apakah model yang diusulkan cukup kecil untuk dilatih pada GPU dengan jumlah memori tertentu Jika saya memiliki arsitektur CNN sederhana seperti ini: Input: 50x50x3 C1: 32 3x3 kernel, dengan padding (saya kira pada kenyataannya theyre sebenarnya 3x3x3 diberikan kedalaman input?) P1: 2x2 dengan langkah 2 C2: …

10 machine-learning  neural-network  convnet  parameter-estimation  gpu 

Saya memiliki dua tensor a:[batch_size, dim] b:[batch_size, dim]. Saya ingin melakukan produk dalam untuk setiap pasangan dalam batch, menghasilkan c:[batch_size, 1], di mana c[i,0]=a[i,:].T*b[i,:]. Bagaimana?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

Saat ini saya sedang berupaya menciptakan kembali hasil dari makalah ini . Dalam makalah mereka menggambarkan metode untuk menggunakan CNN untuk ekstraksi fitur, dan memiliki model akustik yaitu Dnn-hmm dan dipra-preline menggunakan RBM. Bagian III ayat A menyatakan berbagai cara input data dapat direpresentasikan. Saya memutuskan untuk secara vertikal menumpuk …

9 neural-network  convnet  feature-extraction  audio-recognition 

Saat melatih jaringan saraf, setidaknya ada 4 cara untuk mengatur jaringan: Regulasi L1 Regulasi L2 Keluar Normalisasi Batch ditambah tentu saja hal-hal lain seperti pembagian berat badan dan mengurangi jumlah koneksi, yang mungkin bukan pengaturan dalam arti yang paling ketat. Tetapi bagaimana orang akan memilih metode regularisasi mana yang akan …

9 neural-network  regularization 

Apakah ada makalah yang diterbitkan yang menunjukkan perbedaan metode regularisasi untuk jaringan saraf, lebih disukai pada domain yang berbeda (atau setidaknya set data yang berbeda)? Saya bertanya karena saat ini saya merasa bahwa kebanyakan orang tampaknya hanya menggunakan dropout untuk regularisasi dalam visi komputer. Saya ingin memeriksa apakah akan ada …

9 neural-network  computer-vision  convnet  regularization  dropout 

Saya baru saja belajar tentang regularisasi sebagai pendekatan untuk mengontrol over-fitting, dan saya ingin memasukkan ide tersebut ke dalam implementasi sederhana backpropagation dan Multilayer perceptron (MLP) yang saya kumpulkan. Saat ini untuk menghindari pemasangan berlebihan, saya melakukan validasi silang dan menjaga jaringan dengan skor terbaik sejauh ini pada set validasi. …

9 neural-network 

Misalkan saya memiliki satu set sinyal domain waktu dengan sama sekali tidak ada label . Saya ingin mengelompokkannya dalam 2 atau 3 kelas. Autoencoder adalah jaringan tanpa pengawasan yang belajar mengompresi input. Jadi diberi input , bobot dan , bias dan , dan output , kita dapat menemukan hubungan berikut:x(i)x(i)x^{(i)}W1W1W_1W2W2W_2b1b1b_1b2b2b_2x^(i)x^(i)\hat{x}^{(i)} …

9 neural-network  clustering  time-series  unsupervised-learning  autoencoder 

Ketika menerapkan gradient descent mini-batch untuk jaringan saraf, apakah penting untuk mengambil elemen acak di setiap mini-batch? Atau apakah cukup dengan mengocok elemen di awal pelatihan satu kali? (Saya juga tertarik pada sumber yang jelas mengatakan apa yang mereka lakukan.)

9 machine-learning  neural-network 

Saya mencoba untuk memahami penguatan pembelajaran dan proses keputusan markov (MDP) dalam kasus di mana jaringan syaraf sedang digunakan sebagai penaksir fungsi. Saya mengalami kesulitan dengan hubungan antara MDP di mana lingkungan dieksplorasi secara probabilistik, bagaimana peta ini kembali ke parameter pembelajaran dan bagaimana solusi / kebijakan akhir ditemukan. Apakah …

9 machine-learning  neural-network  q-learning 

Saya melihat bagaimana menerapkan dropout pada jaringan saraf yang dalam, dan saya menemukan sesuatu yang berlawanan secara intuitif. Dalam fase maju, topeng aktivasi putus dengan tensor acak 1s dan 0s untuk memaksa net mempelajari rata-rata bobot. Ini membantu jaring untuk menggeneralisasi dengan lebih baik. Tetapi selama fase pembaruan dari gradient …

9 neural-network  deep-learning  gradient-descent