Pertanyaan yang diberi tag «neural-networks»

Saya ingin melatih jaringan dengan non-linearitas yang menderita menghilangnya (atau meledak masalah gradien meskipun sebagian besar menghilang). Saya tahu bahwa cara standar (saat ini) adalah dengan menggunakan normalisasi batch 1 [BN] 1 atau hanya meninggalkan non-linearitas dan menggunakan unit ReLu Rectifier / ReLu . Saya menginginkan dua hal: Tetap dengan …

8 machine-learning  neural-networks  conv-neural-network  batch-normalization 

Sebagai pemanasan dengan jaringan saraf berulang, saya mencoba memprediksi gelombang sinus dari gelombang sinus lain dari frekuensi lain. Model saya adalah RNN sederhana, forward pass-nya dapat dinyatakan sebagai berikut: rtzt=σ(Win⋅xt+Wrec⋅rt−1))=Wout⋅rtrt=σ(Win⋅xt+Wrec⋅rt−1))zt=Wout⋅rt \begin{aligned} r_t &= \sigma(W_{in} \cdot x_t + W_{rec} \cdot r_{t-1}))\\ z_t &= W_{out} \cdot r_t \end{aligned} di mana adalah fungsi …

8 regression  time-series  neural-networks  deep-learning  rnn 

Saya telah membaca komentar yang bagus mengenai bagaimana menangani nilai yang hilang sebelum menerapkan SVD, tetapi saya ingin tahu cara kerjanya dengan contoh sederhana: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Mengingat matriks di atas, jika saya …

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

Saya sudah mulai membaca tentang Jaringan Syaraf Berulang (RNNs) dan Memori Jangka Pendek (LSTM) ... (... oh, tidak cukup poin rep di sini untuk daftar referensi ...) Satu hal yang tidak saya dapatkan: Tampaknya selalu ada neuron di setiap instance dari lapisan tersembunyi yang "sepenuhnya terhubung" dengan setiap neuron pada …

8 machine-learning  neural-networks  backpropagation 

Saya bertanya-tanya tentang perbedaannya. Berdasarkan pemahaman saya, MLP adalah salah satu jenis jaringan saraf, di mana fungsi aktivasi sigmoid, dan istilah kesalahan adalah kesalahan lintas-entropi (logistik). Mencari bantuan, terima kasih!

8 neural-networks  perceptron 

Saya telah mempelajari teori di balik JST akhir-akhir ini dan saya ingin memahami 'keajaiban' di balik kemampuan klasifikasi multi-kelas non-linear. Ini membawa saya ke situs web ini yang melakukan pekerjaan dengan baik untuk menjelaskan secara geometris bagaimana perkiraan ini dicapai. Inilah cara saya memahaminya (dalam 3D): Lapisan tersembunyi dapat dianggap …

8 machine-learning  neural-networks  approximation  intuition  function 

https://www.tensorflow.org/ Semua proyek di TensorFlow yang saya lihat di GitHub mengimplementasikan beberapa jenis model Jaringan Saraf Tiruan. Mengingat TensorFlow merupakan peningkatan dari pada DAG (ini bukan asiklik lagi), saya bertanya-tanya apakah beberapa kekurangan yang melekat membuatnya tidak cocok untuk model pembelajaran mesin umum? Dalam Model Komputasi TensorFlow, apakah mungkin untuk …

8 machine-learning  neural-networks  deep-learning  supervised-learning  tensorflow 

Saya membuat jaringan saraf convolutional dan saya ingin memeriksa bahwa gradien saya dihitung dengan benar menggunakan pengecekan gradien numerik. Pertanyaannya, seberapa dekat cukup dekat? Fungsi pengecekan saya hanya memuntahkan turunan yang dihitung, turunan yang diperkirakan secara numerik, perbedaan antara keduanya, dan apakah kedua nilai tersebut memiliki tanda yang sama (satu …

8 neural-networks  conv-neural-network  gradient 

Deskripsi Masalah Saya memulai konstruksi jaringan untuk masalah yang menurut saya bisa memiliki fungsi kerugian yang jauh lebih mendalam daripada regresi MSE sederhana. Masalah saya berkaitan dengan klasifikasi multi-kategori ( lihat pertanyaan saya di SO untuk apa yang saya maksudkan dengan ini), di mana ada jarak atau hubungan yang ditentukan …

8 neural-networks  loss-functions 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 4 tahun yang lalu . Saya sedang mengerjakan tolok ukur beberapa jaringan saraf dan mereka membutuhkan banyak waktu untuk menyelesaikannya. Jadi, saya menggunakan beberapa sesi …

8 r  neural-networks 

Saya baru belajar mendalam, jadi ini mungkin pertanyaan sepele. Tetapi saya bertanya-tanya mengapa pembelajaran yang mendalam (atau jaringan saraf) tidak bekerja dengan baik pada data berlabel kecil. Apa pun makalah penelitian yang saya baca, dataset mereka sangat besar. Secara intuitif itu tidak mengejutkan karena otak kita membutuhkan banyak waktu untuk …

8 neural-networks  deep-learning 

Saya mencoba memahami bagaimana rnn dapat digunakan untuk memprediksi urutan dengan bekerja melalui contoh sederhana. Ini adalah jaringan sederhana saya, yang terdiri dari satu input, satu neuron tersembunyi, dan satu output: Neuron tersembunyi adalah fungsi sigmoid, dan output dianggap sebagai output linier sederhana. Jadi, saya pikir jaringan bekerja sebagai berikut: …

8 machine-learning  neural-networks  deep-learning  gradient-descent 

Saya sudah mencoba mencari tahu apa sebenarnya yang dimaksud dengan fungsi aktivasi "Maxout" di jaringan saraf. Ada pertanyaan ini , makalah ini , dan bahkan dalam buku Deep Learning oleh Bengio et al. , kecuali hanya dengan sedikit informasi dan TODO besar di sebelahnya. Saya akan menggunakan notasi yang dijelaskan …

8 machine-learning  neural-networks 

Saya mencoba memahami mengapa fungsi softmax didefinisikan seperti itu: ezjΣKk=1ezk=σ(z)ezjΣk=1Kezk=σ(z)\frac{e^{z_{j}}} {\Sigma^{K}_{k=1}{e^{z_{k}}}} = \sigma(z) Saya mengerti bagaimana ini menormalkan data dan memetakan dengan benar untuk beberapa rentang (0, 1) tetapi perbedaan antara probabilitas berat bervariasi secara eksponensial daripada linear. Apakah ada alasan mengapa kita menginginkan perilaku ini? Juga persamaan ini tampaknya …

8 probability  neural-networks  softmax 

Saya memiliki data yang menggambarkan seberapa sering suatu peristiwa berlangsung selama satu jam ("angka per jam", nph) dan berapa lama acara berlangsung ("durasi dalam detik per jam", dph). Ini adalah data asli: nph <- c(2.50000000003638, 3.78947368414551, 1.51456310682008, 5.84686774940732, 4.58823529414907, 5.59999999993481, 5.06666666666667, 11.6470588233699, 1.99999999998209, NA, 4.46153846149851, 18, 1.05882352939726, 9.21739130425452, 27.8399999994814, 15.3750000002237, …

8 normal-distribution  data-transformation  logistic  generalized-linear-model  ridge-regression  t-test  wilcoxon-signed-rank  paired-data  naive-bayes  distributions  logistic  goodness-of-fit  time-series  eviews  ecm  panel-data  reliability  psychometrics  validity  cronbachs-alpha  self-study  random-variable  expected-value  median  regression  self-study  multiple-regression  linear-model  forecasting  prediction-interval  normal-distribution  excel  bayesian  multivariate-analysis  modeling  predictive-models  canonical-correlation  rbm  time-series  machine-learning  neural-networks  fishers-exact  factorisation-theorem  svm  prediction  linear  reinforcement-learning  cdf  probability-inequalities  ecdf  time-series  kalman-filter  state-space-models  dynamic-regression  index-decomposition  sampling  stratification  cluster-sample  survey-sampling  distributions  maximum-likelihood  gamma-distribution