Pertanyaan yang diberi tag «loss-functions»

Saya telah melihat dua jenis formulasi kehilangan logistik. Kita dapat dengan mudah menunjukkan bahwa keduanya identik, satu-satunya perbedaan adalah definisi label .yyy Formulasi / notasi 1, :y∈{0,+1}y∈{0,+1}y \in \{0, +1\} L(y,βTx)=−ylog(p)−(1−y)log(1−p)L(y,βTx)=−ylog⁡(p)−(1−y)log⁡(1−p) L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p) di mana , di mana fungsi logistik memetakan angka nyata hingga 0,1 interval.p=11+exp(−βTx)p=11+exp⁡(−βTx)p=\frac 1 {1+\exp(-\beta^Tx)}βTxβTx\beta^T x Formulasi / …

23 logistic  generalized-linear-model  notation  loss-functions 

max(0,1−yi(w⊺xi+b))max(0,1−yi(w⊺xi+b))\max(0,1-y_i(w^\intercal x_i+b))12∥w∥2+C∑imax(0,1−yi(w⊺xi+b))12‖w‖2+C∑imax(0,1−yi(w⊺xi+b)) \frac{1}{2}\|w\|^2+C\sum_i\max(0,1-y_i(w^\intercal x_i+b)) ∥w∥2‖w‖2\|w\|^2max(0,1−yi(w⊺xi+b))max(0,1−yi(w⊺xi+b))\max(0,1-y_i(w^\intercal x_i+b)) Namun, untuk SVM hard margin, seluruh fungsi objektif hanya 12∥w∥212‖w‖2 \frac{1}{2}\|w\|^2 Apakah itu berarti SVM hard margin hanya meminimalkan pembuat peraturan tanpa fungsi kerugian? Kedengarannya sangat aneh. Nah, jika 12∥w∥212‖w‖2\frac{1}{2}\|w\|^2 adalah fungsi kerugian dalam kasus ini, dapatkah kita menyebutnya fungsi kehilangan kuadratik? Jika demikian, …

23 svm  loss-functions 

Ada utas serupa di sini ( Fungsi biaya jaringan saraf adalah non-cembung? ) Tapi saya tidak dapat memahami poin-poin dalam jawaban di sana dan alasan saya untuk bertanya lagi berharap ini akan menjelaskan beberapa masalah: Jika saya menggunakan jumlah fungsi biaya selisih kuadrat, saya akhirnya mengoptimalkan sesuatu dari bentuk mana …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Apakah mungkin untuk mengontrol biaya kesalahan klasifikasi dalam paket R randomForest ? Dalam pekerjaan saya sendiri, negatif palsu (mis., Hilang karena kesalahan bahwa seseorang mungkin menderita penyakit) jauh lebih mahal daripada positif palsu. Paket rpart memungkinkan pengguna untuk mengontrol biaya kesalahan klasifikasi dengan menentukan matriks kerugian misclassifications berat badan berbeda. …

21 r  classification  random-forest  loss-functions  metric 

Pertanyaan ini sudah memiliki jawaban di sini : Bagaimana perubahan fungsi biaya menjadi positif? (1 jawaban) Apa yang harus saya lakukan ketika jaringan saraf saya tidak belajar? (5 jawaban) Ditutup bulan lalu . Saya melatih model (Recurrent Neural Network) untuk mengklasifikasikan 4 jenis urutan. Ketika saya menjalankan pelatihan saya, saya …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

Gagasan statistik 'mendasar' untuk memperkirakan parameter adalah kemungkinan maksimum . Saya bertanya-tanya apa ide yang sesuai dalam pembelajaran mesin. Qn 1. Apakah adil untuk mengatakan bahwa ide 'mendasar' dalam pembelajaran mesin untuk memperkirakan parameter adalah: 'Kehilangan Fungsi' [Catatan: Adalah kesan saya bahwa algoritma pembelajaran mesin sering mengoptimalkan fungsi kerugian dan …

19 machine-learning  maximum-likelihood  loss-functions  pac-learning 

Saya mencoba untuk memahami apa tujuan dari fungsi kerugian dan saya tidak bisa memahaminya. Jadi, sejauh yang saya mengerti fungsi kerugian adalah untuk memperkenalkan semacam metrik bahwa kita dapat mengukur "biaya" dari keputusan yang salah. Jadi katakanlah saya memiliki dataset 30 objek, saya membaginya dengan set pelatihan / pengujian seperti …

19 machine-learning  loss-functions 

Saya bekerja di domain masalah di mana orang sering melaporkan ROC-AUC atau AveP (presisi rata-rata). Namun, saya baru-baru ini menemukan makalah yang mengoptimalkan Kehilangan Log , sementara yang lain melaporkan Kehilangan Engsel . Sementara saya mengerti bagaimana metrik ini dihitung, saya mengalami kesulitan memahami trade-off antara mereka dan mana yang …

18 loss-functions 

Dengan flat sebelumnya, estimator ML (frequentist - maximum likelihood) dan MAP (Bayesian - maximum a posteriori) bersamaan. Namun, secara lebih umum, saya berbicara tentang penduga titik yang diturunkan sebagai pengoptimal beberapa fungsi kerugian. Yaitu (Bayesian) x (x^(.)=argminE(L(X−x^(y))|y) (Bayesian) x^(.)=argminE(L(X−x^(y))|y) (Bayesian) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

Saya mencoba menggunakan kuadrat kerugian untuk melakukan klasifikasi biner pada kumpulan data mainan. Saya menggunakan mtcarskumpulan data, menggunakan mil per galon dan berat untuk memprediksi jenis transmisi. Plot di bawah ini menunjukkan dua jenis data tipe transmisi dalam warna berbeda, dan batas keputusan dihasilkan oleh fungsi kerugian yang berbeda. Kerugian …

16 r  machine-learning  logistic  optimization  loss-functions 

Saya mencoba untuk lebih memahami kehilangan log dan bagaimana cara kerjanya tetapi satu hal yang sepertinya tidak bisa saya temukan adalah memasukkan nomor kehilangan log ke dalam semacam konteks. Jika model saya memiliki kehilangan log 0,5, apakah itu bagus? Apa yang dianggap sebagai skor baik dan buruk? Bagaimana ambang batas …

16 machine-learning  loss-functions  log-loss 

Saya mencoba untuk mendapatkan perspektif global tentang beberapa ide penting dalam pembelajaran mesin, dan saya bertanya-tanya apakah ada perawatan komprehensif dari berbagai konsep kerugian (kuadrat, log, engsel, proksi, dll.). Saya sedang memikirkan sesuatu yang sejalan dengan presentasi formal yang lebih komprehensif dan komprehensif dari John Langford tentang Kehilangan Fungsi Semantik …

16 references  loss-functions 

Saya mencoba memahami fungsi kehilangan Yolo v2: λcoord∑i=0S2∑j=0B1objij[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1objij[(wi−−√−w^i−−√)2+(hi−−√−h^i−−√)2]+∑i=0S2∑j=0B1objij(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1noobjij(Ci−C^i)2+∑i=0S21obji∑c∈classes(pi(c)−p^i(c))2λcoord∑i=0S2∑j=0B1ijobj[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1ijobj[(wi−w^i)2+(hi−h^i)2]+∑i=0S2∑j=0B1ijobj(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1ijnoobj(Ci−C^i)2+∑i=0S21iobj∑c∈classes(pi(c)−p^i(c))2\begin{align} &\lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2 ] \\&+ \lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(\sqrt{w_i}-\sqrt{\hat{w}_i})^2 +(\sqrt{h_i}-\sqrt{\hat{h}_i})^2 ]\\ &+ \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}(C_i - \hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{noobj}(C_i - \hat{C}_i)^2 \\ &+ \sum_{i=0}^{S^2} \mathbb{1}_{i}^{obj}\sum_{c \in classes}(p_i(c) - \hat{p}_i(c))^2 \\ \end{align} Jika ada orang yang bisa memerinci fungsinya.

16 neural-networks  loss-functions  object-detection  yolo 

Tensorflow memiliki contoh tutorial tentang mengklasifikasikan CIFAR-10 . Pada tutorial, rata-rata kehilangan entropi silang di seluruh batch diminimalkan. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from distorted_inputs or inputs(). 1-D tensor of shape …

15 neural-networks  loss-functions  tensorflow 

Kehilangan engsel dapat didefinisikan menggunakan dan kehilangan log dapat didefinisikan sebagaimaks ( 0 , 1 - ysayawTxsaya)maks(0,1-ysayawTxsaya)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)log ( 1 + exp( - ysayawTxsaya) )catatan(1+exp⁡(-ysayawTxsaya))\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) Saya punya pertanyaan berikut: Adakah kerugian kerugian engsel (mis. Peka terhadap outlier seperti yang disebutkan dalam http://www.unc.edu/~yfliu/papers/rsvm.pdf )? Apa perbedaan, kelebihan, kekurangan satu …

14 machine-learning  svm  loss-functions  computer-vision