Pertanyaan yang diberi tag «neural-networks»

Saya ingin melatih jaringan saraf dengan urutan karakter sebagai vektor input. Contoh pembelajaran memiliki panjang yang berbeda dan untuk alasan ini saya tidak tahu bagaimana cara mewakili mereka. Katakanlah saya memiliki dua contoh urutan, di sini nama: john doe maurice delanoe Contoh pertama adalah panjang 8, kedua panjang 15. Apakah …

9 machine-learning  neural-networks  feature-selection  natural-language 

Saya telah belajar bahwa over-fitting dapat dideteksi dengan merencanakan kesalahan pelatihan dan kesalahan pengujian versus zaman. Seperti di: Saya telah membaca posting blog ini di mana mereka mengatakan jaringan saraf, net5 terlalu pas dan mereka memberikan angka ini: Yang aneh bagi saya, karena kesalahan validasi dan pelatihan dari net5 terus …

9 neural-networks  overfitting 

Saat menggunakan algoritme pembelajaran CD persisten untuk Mesin Bolzmann Terbatas, kami memulai rantai pengambilan sampel Gibbs kami pada iterasi pertama pada titik data, tetapi bertentangan dengan CD normal, dalam mengikuti iterasi kami tidak memulai rantai kami. Alih-alih, kita mulai dari mana rantai sampel Gibbs dalam iterasi sebelumnya berakhir. Dalam algoritma …

9 machine-learning  neural-networks  rbm 

Saya menggunakan classifier berbasis Neural Networks untuk menjalankan klasifikasi untuk data saya dalam n-dimensional. Lalu saya pikir itu mungkin ide yang baik untuk menjalankan pengurangan dimensi seperti PCA untuk data saya pada awalnya, dan kemudian memasukkan hasil PCA ke dalam classifier (saya menyimpan 3 PC). Namun, klasifikasi pada fitur pengurangan …

9 pca  neural-networks 

Saya ingin melakukan analisis sentimen pada teks, telah melalui beberapa artikel, beberapa dari mereka menggunakan "Naif Bayes" dan lainnya adalah "Jaringan Syaraf Berulang (LSTM)" , di sisi lain saya telah melihat perpustakaan python untuk analisis sentimen yang adalah nltk. Ini menggunakan "Naif Bayes" adakah yang bisa menjelaskan apa perbedaan antara …

8 machine-learning  neural-networks  python  natural-language 

Pertanyaan ini menindaklanjuti stats.stackexchange.com/q/233658 Model regresi logistik untuk kelas {0, 1} adalah P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp⁡(wTx)1+exp⁡(wTx)P(y=0|x)=11+exp⁡(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)} Jelas probabilitas tersebut berjumlah 1. Dengan mengatur kita juga bisa mendefinisikan regresi logistik …

8 logistic  neural-networks  multinomial-logit  softmax  identifiability 

Apakah yang berikut ini benar? Bias rendah = varians tinggi Bias tinggi = varians rendah Saya mengerti bias tinggi dan rendah tetapi lalu bagaimana perbedaannya? Atau sinonim di atas?

8 machine-learning  neural-networks  variance  sampling  bias 

Apakah teorema aproksimasi universal untuk jaringan saraf berlaku untuk setiap fungsi aktivasi (sigmoid, ReLU, Softmax, dll ...) atau apakah itu terbatas pada fungsi sigmoid? Pembaruan: Seperti yang ditunjukkan oleh shimao di komentar, itu tidak berlaku untuk semua fungsi. Jadi untuk kelas fungsi aktivasi apa yang dimilikinya?

8 neural-networks  approximation 

Cukup intuitif bahwa sebagian besar topologi / arsitektur jaringan saraf tidak dapat diidentifikasi. Tapi apa saja hasil yang terkenal di lapangan? Apakah ada kondisi sederhana yang memungkinkan / mencegah pengidentifikasian? Sebagai contoh, semua jaringan dengan fungsi aktivasi nonlinear dan lebih dari satu lapisan tersembunyi tidak dapat diidentifikasi semua jaringan dengan …

8 neural-networks  conv-neural-network  rnn  identifiability 

Jika jaring saraf yang dalam dianggap sebagai penduga fungsi universal, apakah perluasan basis benar-benar diperlukan? Atau apakah ini spesifik kasus? Misalnya, jika seseorang memiliki tiga variabel X kuantitatif, apakah akan ada keuntungan dalam memperluas jumlah variabel dengan memperkenalkan interaksi, polinomial, dll.? Ini tampaknya memiliki utilitas yang baik dalam RF misalnya …

8 neural-networks  deep-learning  feature-construction 

Dalam catatan kuliah 5 minggu untuk Andrew Ng's Coursera Machine Learning Class , rumus berikut diberikan untuk menghitung nilai digunakan untuk menginisialisasi dengan nilai acak:ϵϵ\epsilonΘΘ\Theta Dalam latihan , klarifikasi lebih lanjut diberikan: Salah satu strategi efektif untuk memilih adalah mendasarkannya pada jumlah unit dalam jaringan. Pilihan adalah , di mana …

8 machine-learning  neural-networks  random-generation 

Saya memiliki pengaturan berikut untuk proyek penelitian Keuangan / Pembelajaran Mesin di universitas saya: Saya menerapkan Jaringan Saraf (Jauh) (MLP) dengan struktur berikut di Keras / Theano untuk membedakan saham berkinerja lebih baik (label 1) dari saham berkinerja buruk ( label 0). Pertama-tama saya hanya menggunakan kelipatan valuasi aktual dan …

8 machine-learning  neural-networks  deep-learning  regularization  dropout 

Dalam SGD suatu jaman akan menjadi presentasi penuh dari data pelatihan, dan kemudian akan ada pembaruan bobot N per jaman (jika ada contoh data N dalam set pelatihan). Jika sekarang kita melakukan mini-batch sebagai gantinya, katakan dalam batch 20. Apakah satu zaman sekarang terdiri dari pembaruan berat N / 20, …

8 machine-learning  neural-networks 

Jaringan saraf berulang saya (LSTM, resp. GRU) berperilaku dengan cara yang tidak bisa saya jelaskan. Pelatihan dimulai dan dilatih dengan baik (hasilnya terlihat cukup baik) ketika akurasi tiba-tiba turun (dan kehilangan meningkat dengan cepat) - baik pelatihan dan metrik pengujian. Terkadang net menjadi gila dan mengembalikan output acak dan kadang-kadang …

8 neural-networks  lstm  gru 

Secara umum saya harus melatih ulang jaringan saraf saya dengan lebih sedikit neuron sehingga memiliki lebih sedikit neuron ReLU yang mati? Saya telah membaca pendapat yang bertentangan tentang ReLU yang mati. Beberapa sumber mengatakan ReLU yang mati baik karena mereka mendorong sparsity. Yang lain mengatakan mereka buruk karena ReLU yang …

8 machine-learning  neural-networks  conv-neural-network