Pertanyaan yang diberi tag «neural-networks»

RNN sangat baik untuk menangkap ketergantungan waktu dari data sekuensial. Namun, apa yang terjadi ketika elemen urutan tidak sama spasi dalam waktu? Misalnya, input pertama ke sel LSTM terjadi pada hari Senin, lalu tidak ada data dari Selasa hingga Kamis, dan akhirnya input baru untuk masing-masing hari Jumat, Sabtu, Minggu. …

13 machine-learning  neural-networks  lstm  rnn  unevenly-spaced-time-series 

Normalisasi batch telah dikreditkan dengan peningkatan kinerja substansial dalam jaring saraf yang dalam. Banyak materi di internet menunjukkan cara mengimplementasikannya berdasarkan aktivasi-demi-aktivasi. Saya sudah menerapkan backprop menggunakan aljabar matriks, dan mengingat bahwa saya bekerja dalam bahasa tingkat tinggi (sambil mengandalkan Rcpp(dan akhirnya GPU) untuk perkalian matriks padat), merobek semuanya dan …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Kemajuan baru-baru ini dalam jaringan saraf dirangkum oleh urutan arsitektur novel yang ditandai terutama dengan kompleksitas desain yang berkembang. Dari LeNet5 (1994) hingga AlexNet (2012), hingga Overfeat (2013) dan GoogleLeNet / Inception (2014) dan seterusnya ... Apakah ada upaya untuk membiarkan mesin memutuskan / mendesain arsitektur yang akan digunakan tergantung …

12 neural-networks  deep-learning 

Katakanlah saya menggunakan RNN / LSTM untuk melakukan analisis sentimen, yang merupakan pendekatan banyak-ke-satu (lihat blog ini ). Jaringan dilatih melalui backpropagation terpotong terpotong (BPTT), di mana jaringan dibuka untuk hanya 30 langkah terakhir seperti biasa. Dalam kasus saya, masing-masing bagian teks yang ingin saya klasifikasikan jauh lebih panjang daripada …

12 neural-networks  deep-learning  natural-language  backpropagation 

Jadi ketika melihat Radial Basis Function Neural Networks, saya perhatikan bahwa orang hanya pernah merekomendasikan penggunaan 1 layer tersembunyi, sedangkan dengan multilayer perceptron neural networks lebih banyak layer dianggap lebih baik. Mengingat bahwa jaringan RBF dapat dilatih dengan versi back propagation apakah ada alasan mengapa jaringan RBF yang lebih dalam …

12 machine-learning  neural-networks  rbf-network 

Baru-baru ini saya membaca beberapa makalah tentang jaringan saraf Bayesian (BNN) [Neal, 1992] , [Neal, 2012] , yang memberikan kemungkinan hubungan antara input dan output dalam jaringan saraf. Pelatihan seperti jaringan saraf adalah melalui MCMC yang berbeda dari algoritma back-propagation tradisional. Pertanyaan saya adalah: Apa keuntungan menggunakan jaringan saraf seperti …

12 bayesian  neural-networks  bayesian-network 

Apakah ada perbedaan antara istilah "jaringan saraf" dan "perceptron"?

12 machine-learning  neural-networks  terminology  perceptron 

Saya memiliki dataset yang sangat besar dan sekitar 5% nilai acak hilang. Variabel-variabel ini berkorelasi satu sama lain. Contoh berikut dataset R hanyalah contoh mainan dengan data berkorelasi dummy. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Deskripsi: Biarkan domain masalah menjadi klasifikasi dokumen di mana terdapat satu set vektor fitur, masing-masing milik 1 atau lebih kelas. Misalnya, dokumen doc_1mungkin milik Sportsdan Englishkategori. Pertanyaan: Menggunakan jaringan saraf untuk klasifikasi, apa label untuk vektor fitur? apakah itu akan menjadi vektor yang membentuk semua kelas sehingga nilai 0 diberikan …

12 machine-learning  neural-networks  natural-language  multilabel 

Dalam kursus Pembelajaran Mesin Stanford, Andrew Ng menyebut penerapan ML di bidang TI. Beberapa waktu kemudian ketika saya mendapat ukuran sedang (sekitar 20k bot) DDoS di situs kami, saya memutuskan untuk melawannya menggunakan classifier Neural Network sederhana. Saya telah menulis skrip python ini dalam waktu sekitar 30 menit: https://github.com/SaveTheRbtz/junk/tree/master/neural_networks_vs_ddos Menggunakan …

12 classification  neural-networks  unsupervised-learning 

Dalam buku Deep Learning Ian Goodfellow , tertulis itu Terkadang, fungsi kerugian yang benar-benar kita pedulikan (katakanlah, kesalahan klasifikasi) bukan salah satu yang dapat dioptimalkan secara efisien. Misalnya, meminimalkan kerugian yang diharapkan 0-1 yang diharapkan biasanya tidak dapat dilakukan (eksponensial dalam dimensi input), bahkan untuk pengklasifikasi linier. Dalam situasi seperti …

12 neural-networks  deep-learning  loss-functions 

Pertama-tama: Saya tahu, tidak ada jumlah umum ukuran sampel yang diperlukan untuk melatih jaringan saraf. Itu tergantung pada terlalu banyak faktor seperti kerumitan tugas, kebisingan dalam data dan sebagainya. Dan semakin banyak sampel pelatihan yang saya miliki, semakin baik jaringan saya. Tetapi saya bertanya-tanya: Apakah secara teori mungkin untuk melatih …

12 neural-networks  overfitting  underdetermined 

Latar Belakang: Saya sedang mempelajari Bab 6 Pembelajaran Jauh oleh Ian Goodfellow dan Yoshua Bengio dan Aaron Courville. Pada bagian 6.2.2.2 (halaman 182 dari 183 yang dapat dilihat di sini ) penggunaan sigmoid untuk output termotivasi.P( y= 1 | x )P(y=1|x)P(y=1|x) Untuk meringkas beberapa materi yang mereka biarkan menjadi neuron …

12 neural-networks  deep-learning 

Jika kita memproses 10 contoh dalam satu batch, saya mengerti kita bisa menjumlahkan kerugian untuk setiap contoh, tetapi bagaimana cara backpropagation dalam hal memperbarui bobot untuk masing-masing contoh? Sebagai contoh: Contoh 1 -> kerugian = 2 Contoh 2 -> kerugian = -2 Ini menghasilkan kerugian rata-rata 0 (E = 0), …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

Berikut ini adalah contoh kode keras yang menggunakannya: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization