Pertanyaan yang diberi tag «gradient-descent»

Jika Hessians sangat baik untuk optimasi (lihat misalnya metode Newton ), mengapa berhenti di situ? Mari kita gunakan derivatif ketiga, keempat, kelima, dan keenam? Kenapa tidak?

29 optimization  gradient-descent  hessian 

Saya sedang melakukan kursus Machine Learning Stanford di Coursera. Dalam bab tentang Regresi Logistik, fungsi biaya adalah sebagai berikut: Kemudian, diturunkan di sini: Saya mencoba mendapatkan turunan dari fungsi biaya tetapi saya mendapatkan sesuatu yang sama sekali berbeda. Bagaimana derivatif diperoleh? Apa langkah perantara?

29 regression  logistic  gradient-descent  derivative 

Apa perbedaan antara algoritma EM (Ekspektasi Maksimalisasi) dan Gradient Ascent (atau keturunan)? Apakah ada kondisi di mana mereka setara?

28 gradient-descent  expectation-maximization 

Diberikan fungsi biaya cembung, menggunakan SGD untuk optimisasi, kami akan memiliki gradien (vektor) pada titik tertentu selama proses optimasi. Pertanyaan saya adalah, mengingat titik pada cembung, apakah gradien hanya menunjuk pada arah di mana fungsi naik / turun tercepat, atau gradien selalu menunjuk pada titik optimal / ekstrim dari fungsi …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Sebenarnya, saya ingin bertanya kepada Anda bagaimana saya bisa menentukan kondisi terminating untuk gradient descent. Dapatkah saya menghentikannya berdasarkan jumlah iterasi, yaitu mempertimbangkan nilai parameter untuk, katakanlah, 100 iterasi? Atau haruskah saya menunggu sedemikian rupa sehingga perbedaan dalam dua nilai parameter 'baru' dan 'lama' sangat kecil untuk urutan katakanlah ? …

24 algorithms  optimization  gradient-descent 

Saya bertanya-tanya apa perbedaan kasus penggunaan untuk dua algoritma, Koordinat Keturunan dan Gradient Keturunan . Saya tahu bahwa penurunan koordinat memiliki masalah dengan fungsi yang tidak mulus tetapi digunakan dalam algoritma populer seperti SVM dan LASSO. Namun penurunan Gradient menurut saya digunakan secara lebih luas, terutama dengan kebangkitan JST, dan …

23 optimization  gradient-descent 

Saya ingin tahu tentang bagaimana gradien diperbanyak kembali melalui jaringan saraf menggunakan modul ResNet / lewati koneksi. Saya telah melihat beberapa pertanyaan tentang ResNet (mis. Jaringan saraf dengan koneksi lompatan-lapisan ) tetapi yang satu ini menanyakan secara khusus tentang back-propagation of gradien selama pelatihan. Arsitektur dasarnya ada di sini: Saya …

22 machine-learning  neural-networks  conv-neural-network  gradient-descent  backpropagation 

Saat melatih jaringan saraf menggunakan algoritma back-propagation, metode gradient descent digunakan untuk menentukan pembaruan bobot. Pertanyaan saya adalah: Daripada menggunakan metode gradient descent untuk secara perlahan menemukan titik minimum sehubungan dengan bobot tertentu, mengapa kita tidak mengatur turunan , dan temukan nilai bobot yang meminimalkan kesalahan?wd( Kesalahan )dw= 0d(Kesalahan)dw=0\frac{d(\text{Error})}{dw}=0www Juga, …

22 neural-networks  gradient-descent  backpropagation 

Mengapa orang menggunakan teknik Pemrograman Quadratic (seperti SMO) ketika berhadapan dengan SVM kernel? Apa yang salah dengan Keturunan Gradien? Apakah tidak mungkin digunakan dengan kernel atau itu terlalu lambat (dan mengapa?). Berikut adalah konteks yang lebih sedikit: mencoba memahami SVM sedikit lebih baik, saya menggunakan Gradient Descent untuk melatih classifier …

21 svm  kernel-trick  gradient-descent 

Pada dasarnya, pertanyaan saya adalah bahwa dalam multilayer Perceptrons, perceptrons digunakan dengan fungsi aktivasi sigmoid. Sehingga dalam aturan pembaruan dihitung sebagaiy^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp⁡(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Bagaimana perbedaan "sigmoid" Perceptron ini dari regresi logistik? Saya akan mengatakan bahwa perceptron sigmoid satu-lapisan setara dengan regresi logistik dalam arti bahwa keduanya menggunakan dalam aturan …

21 logistic  classification  neural-networks  gradient-descent  perceptron 

Dalam pelatihan jaringan saraf yang dalam dan dangkal, mengapa metode gradien (misalnya gradient descent, Nesterov, Newton-Raphson) umum digunakan, berbeda dengan metaheuristik lainnya? Metaheuristik yang saya maksud adalah metode seperti annealing yang disimulasikan, optimisasi koloni semut, dll., Yang dikembangkan untuk menghindari terjebak dalam minima lokal.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Algoritma genetika adalah salah satu bentuk metode optimasi. Seringkali penurunan gradien stokastik dan turunannya adalah pilihan terbaik untuk optimasi fungsi, tetapi kadang-kadang algoritma genetika masih digunakan. Misalnya, antena pesawat ruang angkasa ST5 NASA dibuat dengan algoritma genetika: Kapan metode optimisasi genetik merupakan pilihan yang lebih baik daripada metode gradient descent …

20 machine-learning  optimization  gradient-descent  genetic-algorithms 

Saya membaca pernyataan ini pada satu ujian benar / salah lama: Kita bisa mendapatkan beberapa solusi optimal lokal jika kita memecahkan masalah regresi linier dengan meminimalkan jumlah kesalahan kuadrat menggunakan gradient descent. Solusi: Salah Pertanyaan saya adalah, bagian mana dari pertanyaan ini yang salah? Mengapa pernyataan ini salah?

19 least-squares  gradient-descent  convex 

Saya tahu bahwa keturunan gradien stokastik memiliki perilaku acak, tetapi saya tidak tahu mengapa. Apakah ada penjelasan tentang ini?

19 machine-learning  random-variable  gradient-descent 

Saya telah melihat kesimpulan serupa dari banyak diskusi, bahwa ketika ukuran minibatch semakin besar konvergensi SGD sebenarnya semakin sulit / buruk, misalnya tulisan ini dan jawaban ini . Saya juga pernah mendengar ada orang yang menggunakan trik seperti kecepatan belajar kecil atau ukuran batch pada tahap awal untuk mengatasi kesulitan …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd