Pertanyaan yang diberi tag «gradient-descent»

Saya membaca bahwa algoritma k-means hanya konvergen ke minimum lokal dan bukan ke minimum global. Kenapa ini? Saya secara logis dapat memikirkan bagaimana inisialisasi dapat mempengaruhi pengelompokan akhir dan ada kemungkinan pengelompokan sub-optimal, tetapi saya tidak menemukan apa pun yang secara matematis akan membuktikannya. Juga, mengapa k-berarti proses berulang? Tidak …

17 clustering  k-means  convergence  gradient-descent  minimum 

Apa pro & kontra dari kedua metode tersebut?

16 maximum-likelihood  predictive-models  optimization  gradient-descent 

Saat ini saya membaca makalah Efisien Online dan Batch Learning menggunakan Forward-Backward Splitting oleh John Duchi dan Yoram Singer. Saya sangat bingung tentang penggunaan istilah 'Online' dan 'Batch'. Saya pikir 'Online' berarti kami memperbarui parameter bobot setelah memproses satu unit data pelatihan. Kemudian kami menggunakan parameter bobot baru untuk memproses …

16 machine-learning  online  gradient-descent 

Keturunan Gradien Standar akan menghitung gradien untuk seluruh dataset pelatihan. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Untuk jumlah zaman yang ditentukan sebelumnya, pertama-tama kita menghitung vektor gradien weights_grad dari fungsi kerugian untuk seluruh dataset menggunakan parameter vektor parameter kami. Stochastic …

15 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

Saya bereksperimen sedikit dengan implementasi Perceptron yang berbeda dan ingin memastikan apakah saya memahami "iterasi" dengan benar. Aturan perceptron asli Rosenblatt Sejauh yang saya mengerti, dalam algoritma perceptron klasik Rosenblatt, bobot secara bersamaan diperbarui setelah setiap contoh pelatihan melalui Δ b( t + 1 )= Δ w( t )+ η( …

15 optimization  gradient-descent  perceptron 

Ketika saya menerapkan gradien batch mini yang layak, saya hanya rata-rata gradien dari semua contoh dalam batch pelatihan. Namun, saya perhatikan bahwa sekarang tingkat belajar optimal jauh lebih tinggi daripada gradien online yang layak. Intuisi saya adalah ini karena gradien rata-rata kurang berisik dan dengan demikian dapat diikuti lebih cepat. …

15 neural-networks  gradient-descent  backpropagation 

Saya telah membaca banyak tentang jaringan saraf convoloutional dan bertanya-tanya bagaimana mereka menghindari masalah gradien menghilang. Saya tahu jaringan kepercayaan yang mendalam menumpuk auto-encoders tingkat tunggal atau jaringan dangkal pra-terlatih lainnya dan dengan demikian dapat menghindari masalah ini, tetapi saya tidak tahu bagaimana hal itu dihindari di CNN. Menurut Wikipedia …

15 machine-learning  optimization  deep-learning  gradient-descent 

Literatur pembelajaran yang mendalam penuh dengan trik pintar dengan menggunakan tingkat pembelajaran yang tidak konstan dalam gradient descent. Hal-hal seperti peluruhan eksponensial, RMSprop, Adagrad dll mudah untuk diimplementasikan dan tersedia di setiap paket pembelajaran yang mendalam, namun mereka tampaknya tidak ada di luar jaringan saraf. Apakah ada alasan untuk ini? …

14 machine-learning  deep-learning  optimization  gradient-descent 

Saat ini saya agak bingung dengan bagaimana mini-batch gradient descent dapat terperangkap di titik sadel. Solusinya mungkin terlalu sepele sehingga saya tidak mengerti. Anda mendapatkan sampel baru setiap zaman, dan menghitung kesalahan baru berdasarkan batch baru, sehingga fungsi biaya hanya statis untuk setiap batch, yang berarti bahwa gradien juga harus …

14 gradient-descent  sgd 

Saya menggunakan vowpal wabbit untuk menyelesaikan masalah bandit kontekstual . Saya menampilkan iklan kepada pengguna, dan saya memiliki sedikit informasi yang adil tentang konteks di mana iklan ditampilkan (misalnya siapa pengguna, situs apa yang mereka pakai, dll.). Ini tampaknya menjadi masalah bandit kontekstual yang cukup klasik, seperti yang dijelaskan oleh …

14 multinomial  gradient-descent  multiarmed-bandit  vowpal-wabbit  contextual-bandit 

Saya akan melihat video dalam kursus pembelajaran mesin online gratis Andrew Ng di Stanford. Dia membahas Gradient Descent sebagai algoritma untuk menyelesaikan fungsi regresi linear dan penulisan dalam Oktaf untuk melakukannya. Agaknya saya bisa menulis ulang fungsi-fungsi di R, tetapi pertanyaan saya adalah bukankah fungsi lm () sudah memberi saya …

14 r  regression  machine-learning  gradient-descent 

Katakanlah kumpulan data kami berisi 1 juta contoh, yaitu, , dan kami ingin menggunakan gradient descent untuk melakukan regresi logistik atau linear pada kumpulan data ini.x1, ... , x106x1,…,x106x_1, \ldots, x_{10^6} Ada apa dengan metode gradient descent yang membuatnya tidak efisien? Ingat bahwa langkah gradient descent pada waktu diberikan oleh:ttt …

13 machine-learning  gradient-descent  large-data 

Baru-baru ini saya telah membaca makalah oleh Yann Dauphin et al. Mengidentifikasi dan menyerang masalah saddle point dalam optimasi non-cembung dimensi tinggi , di mana mereka memperkenalkan algoritma keturunan yang menarik yang disebut Saddle-Free Newton , yang tampaknya dirancang khusus untuk optimalisasi jaringan saraf dan tidak boleh menderita macet di …

13 optimization  deep-learning  gradient-descent 

Apakah ada literatur yang meneliti pilihan ukuran minibatch saat melakukan stochastic gradient descent? Dalam pengalaman saya, ini tampaknya menjadi pilihan empiris, biasanya ditemukan melalui validasi silang atau menggunakan berbagai aturan praktis. Apakah ide yang baik untuk secara perlahan meningkatkan ukuran minibatch saat kesalahan validasi berkurang? Apa efek ini pada kesalahan …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

Saya telah mempelajari regresi linear dan mencobanya pada set di bawah ini {(x, y)}, di mana x menentukan luas rumah dalam kaki persegi, dan y menentukan harga dalam dolar. Ini adalah contoh pertama dalam Catatan Andrew Ng . 2104.400 1600.330 2400.369 1416.232 3000,540 Saya mengembangkan kode sampel tetapi ketika saya …

12 regression  least-squares  gradient-descent  supervised-learning