Pertanyaan yang diberi tag «neural-networks»

Saya melatih jaringan saraf tiruan (backpropagation, feed-forward) dengan data terdistribusi tidak normal. Selain kesalahan rata-rata kuadrat akar, literatur sering menyarankan koefisien korelasi Pearson untuk mengevaluasi kualitas jaring yang dilatih. Tetapi, apakah koefisien korelasi Pearson masuk akal, jika data pelatihan tidak terdistribusi secara normal? Bukankah lebih masuk akal untuk menggunakan ukuran …

9 correlation  neural-networks  spearman-rho 

Sebuah autoencoder variational (Vae) menyediakan cara belajar distribusi probabilitas yang berkaitan masukan representasi latennya . Secara khusus, encoder memetakan input ke distribusi pada . Encoder tipikal akan menampilkan parameter , mewakili distribusi Gaussian ; distribusi ini digunakan sebagai perkiraan kami untuk .p ( x , z)hal(x,z)p(x,z)xxxzzzeeexxxzzz( μ , σ) = …

9 neural-networks  deep-learning  autoencoders  variational-bayes 

Judul mengatakan semuanya - berapa banyak parameter yang bisa dilatih yang ada di lapisan GRU? Pertanyaan semacam ini banyak muncul ketika mencoba membandingkan model dari tipe lapisan RNN yang berbeda, seperti unit memori jangka pendek (LSTM) vs GRU, dalam hal kinerja per-parameter. Karena sejumlah besar parameter yang dapat dilatih secara …

9 neural-networks  rnn  gru 

Dalam https://cs231n.github.io/neural-networks-case-study/ ini mengapa disebutkan "Softmax classifier menafsirkan setiap elemen ff sebagai memegang probabilitas log (tidak normal) dari tiga kelas." Saya mengerti mengapa itu tidak dinormalkan tetapi tidak mengapa itu log? Apa arti probabilitas log? Mengapa tidak mengatakan probabilitas yang tidak dinormalisasi?

9 machine-learning  neural-networks  information-theory  softmax 

Saya menggunakan model TensorFlow yang telah dilatih sebelumnya dari Jaringan Neural Konvolusional. https://github.com/tensorflow/models/blob/master/slim/nets/resnet_v2.py#L130 Saya menemukan kalimat berikut: Namun, untuk tugas prediksi yang padat kami menyarankan agar seseorang menggunakan input dengan dimensi spasial yang merupakan kelipatan dari 32 ditambah 1, misalnya, [321, 321]. Adakah yang tahu apa prediksi padat dalam literatur …

9 neural-networks  conv-neural-network 

Saya telah mencoba membuat program untuk melatih Neural Networks di komputer saya. Untuk Jaringan yang dimaksud, saya telah memutuskan untuk menggunakan fungsi Cross Entropy Error: E=−∑jtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Di mana adalah output target untuk Neuron , dan adalah output dari neuron itu, mencoba untuk memprediksi .tjtjt_jjjjojojo_jtjtjt_j Saya ingin tahu …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations 

Saya telah memberi label data yang terdiri dari 10.000 contoh positif, dan 50.000 contoh negatif, sehingga totalnya 60000 contoh. Jelas data ini tidak seimbang. Sekarang katakanlah saya ingin membuat set validasi saya, dan saya ingin menggunakan 10% dari data saya untuk melakukannya. Pertanyaan saya adalah sebagai berikut: Haruskah saya memastikan …

9 machine-learning  neural-networks  cross-validation  dataset  unbalanced-classes 

The kertas pada Gans mengatakan diskriminator menggunakan gradien berikut untuk kereta: ∇θd1m∑i = 1m[ logD (x( i )) +log( 1 - D ( G (z( i )) ) ) ]∇θd1m∑saya=1m[catatan⁡D(x(saya))+catatan⁡(1-D(G(z(saya))))]\nabla _{\theta_d} \frac{1}{m}\sum^{m}_{i=1} [\log{D(x^{(i)})} + \log{(1-D(G(z^{(i)})))}] The nilai-nilai yang sampel, melewati generator untuk menghasilkan sampel data, dan kemudian diskriminator yang backpropogated …

9 machine-learning  neural-networks 

Ada begitu banyak teknik regularisasi, tidak praktis untuk mencoba semua kombinasi: l1 / l2 norma maks keluar berhenti lebih awal ... Tampaknya sebagian besar orang senang dengan kombinasi putus sekolah + berhenti dini: apakah ada kasus di mana menggunakan teknik lain masuk akal? Misalnya, jika Anda menginginkan model yang jarang, …

9 neural-networks  regularization  dropout 

Ketika menerapkan dropout di jaringan saraf tiruan, kita perlu mengimbangi kenyataan bahwa pada waktu pelatihan sebagian neuron dinonaktifkan. Untuk melakukannya, ada dua strategi umum: scaling aktivasi pada waktu ujian membalikkan dropout selama fase pelatihan Dua strategi dirangkum dalam slide di bawah ini, diambil dari Standford CS231n: Convolutional Neural Networks for …

9 neural-networks  deep-learning  dropout 

Saya membaca makalah ini: penerjemah skype di mana mereka menggunakan CD-DNN-HMMs (Konteks bergantung pada Jaringan saraf dengan Model Hidden Markov). Saya dapat memahami ide proyek dan arsitektur yang telah mereka rancang tetapi saya tidak mengerti apa itu senones . Saya telah mencari definisi tetapi saya belum menemukan apa pun —Kami …

9 neural-networks  deep-learning  terminology  natural-language  hidden-markov-model 

Dalam CBOW dan skip-gram model word2vec, bagaimana cara memilih vektor kata dari (input word matrix) vs. memilih vektor kata dari (output word matrix) berdampak pada kualitas vektor kata yang dihasilkan?WWWW′W′W' CBOW: Lewati-gram:

9 neural-networks  natural-language  word2vec  word-embeddings 

Saya ingin menggunakan Jaringan Saraf Tiruan untuk memprediksi seri waktu keuangan. Saya berasal dari latar belakang IT dan memiliki pengetahuan tentang Neural Networks dan saya telah membaca tentang ini: TDNN RNN Saya telah mencari paket R untuk mereka dan saya hanya menemukan satu untuk RNN, paket RSNNS yang memiliki implementasi …

9 time-series  forecasting  neural-networks  finance 

Saya berurusan dengan masalah yang berkaitan dengan menemukan gradien fungsi Cross entropy loss wrt parameter θθ\theta dimana: CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Dimana, y^i=softmax(θi)y^i=softmax(θi)\hat{y}_{i} = softmax(\theta_i) dan θiθi\theta_i adalah input vektor. Juga, yyy adalah satu vektor panas dari kelas yang benar dan y^y^\hat{y} adalah prediksi untuk setiap kelas menggunakan fungsi softmax. Oleh …

9 machine-learning  neural-networks 

Guru saya membuktikan bahwa turunan kedua dari cross-entropy selalu positif, sehingga fungsi biaya jaringan saraf menggunakan cross entropy adalah cembung. Apakah ini benar? Saya cukup bingung tentang ini karena saya selalu belajar bahwa fungsi biaya JST adalah non-cembung. Adakah yang bisa mengkonfirmasi ini? Terima kasih banyak! http://z0rch.com/2014/06/05/cross-entropy-cost-function

9 neural-networks  convex