Pertanyaan yang diberi tag «convex»

Saya sedang mengerjakan pembelajaran mesin teoretis - pembelajaran transfer, untuk lebih spesifik - untuk Ph.D. Karena penasaran, mengapa saya harus mengikuti kursus tentang optimasi cembung? Apa kesimpulan dari optimasi cembung yang dapat saya gunakan dalam penelitian saya tentang pembelajaran mesin teoretis?

27 machine-learning  optimization  convex  transfer-learning 

Diberikan fungsi biaya cembung, menggunakan SGD untuk optimisasi, kami akan memiliki gradien (vektor) pada titik tertentu selama proses optimasi. Pertanyaan saya adalah, mengingat titik pada cembung, apakah gradien hanya menunjuk pada arah di mana fungsi naik / turun tercepat, atau gradien selalu menunjuk pada titik optimal / ekstrim dari fungsi …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Ada utas serupa di sini ( Fungsi biaya jaringan saraf adalah non-cembung? ) Tapi saya tidak dapat memahami poin-poin dalam jawaban di sana dan alasan saya untuk bertanya lagi berharap ini akan menjelaskan beberapa masalah: Jika saya menggunakan jumlah fungsi biaya selisih kuadrat, saya akhirnya mengoptimalkan sesuatu dari bentuk mana …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Saya membaca pernyataan ini pada satu ujian benar / salah lama: Kita bisa mendapatkan beberapa solusi optimal lokal jika kita memecahkan masalah regresi linier dengan meminimalkan jumlah kesalahan kuadrat menggunakan gradient descent. Solusi: Salah Pertanyaan saya adalah, bagian mana dari pertanyaan ini yang salah? Mengapa pernyataan ini salah?

19 least-squares  gradient-descent  convex 

Fungsi objektif dari Principal Component Analysis (PCA) adalah meminimalkan kesalahan rekonstruksi dalam norma L2 (lihat bagian 2.12 di sini . Pandangan lain sedang mencoba untuk memaksimalkan varians pada proyeksi. Kami juga memiliki posting yang sangat baik di sini: Apa fungsi tujuan PCA ? ). Pertanyaan saya adalah apakah optimasi PCA …

12 machine-learning  pca  optimization  convex 

Saya telah memprogram regresi logistik menggunakan algoritma IRLS . Saya ingin menerapkan hukuman LASSO untuk memilih fitur yang tepat secara otomatis. Pada setiap iterasi, berikut ini dipecahkan: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Biarkan menjadi bilangan real non-negatif. Saya tidak menghukum intersep seperti yang disarankan dalam The Elements of. Pembelajaran Statistik . Ditto untuk …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

Guru saya membuktikan bahwa turunan kedua dari cross-entropy selalu positif, sehingga fungsi biaya jaringan saraf menggunakan cross entropy adalah cembung. Apakah ini benar? Saya cukup bingung tentang ini karena saya selalu belajar bahwa fungsi biaya JST adalah non-cembung. Adakah yang bisa mengkonfirmasi ini? Terima kasih banyak! http://z0rch.com/2014/06/05/cross-entropy-cost-function

9 neural-networks  convex