Pertanyaan yang diberi tag «loss-functions»

Saya tahu k-means biasanya dioptimalkan menggunakan Expectation Maximization . Namun kami dapat mengoptimalkan fungsi kerugiannya dengan cara yang sama kami mengoptimalkan lainnya! Saya menemukan beberapa makalah yang benar-benar menggunakan keturunan gradien stokastik untuk k-means skala besar, tapi saya tidak bisa menjawab pertanyaan saya. Jadi, ada yang tahu kenapa begitu? Apakah …

14 optimization  k-means  expectation-maximization  loss-functions 

Dalam bagian 3.2 dari Pengenalan Pola Uskup dan Pembelajaran Mesin , dia membahas dekomposisi bias-varians, yang menyatakan bahwa untuk fungsi kerugian kuadrat, kerugian yang diharapkan dapat didekomposisi menjadi istilah bias kuadrat (yang menggambarkan seberapa jauh rata-rata prediksi dari yang benar. model), istilah varians (yang menggambarkan penyebaran prediksi di sekitar rata-rata), …

13 self-study  variance  bias  regularization  loss-functions 

Klasifikasi Naive Bayes adalah pengklasifikasi yang menetapkan item ke kelas berdasarkan pada memaksimalkan posterior untuk keanggotaan kelas, dan mengasumsikan bahwa fitur dari item tersebut independen.xxxCCCP(C|x)P(C|x)P(C|x) Kehilangan 0-1 adalah kerugian yang menyebabkan hilangnya klasifikasi "miss", dan hilangnya "0" untuk klasifikasi yang benar. Saya sering membaca (1) bahwa "Naive Bayes" Classifier, optimal …

13 machine-learning  bayesian  optimization  naive-bayes  loss-functions 

Saya mencoba untuk melatih jaringan saraf untuk klasifikasi, tetapi label yang saya miliki agak bising (sekitar 30% dari label salah). Kehilangan lintas-entropi memang berhasil, tetapi saya bertanya-tanya apakah ada alternatif yang lebih efektif dalam kasus ini? atau apakah kerugian lintas-entropi paling optimal? Saya tidak yakin tetapi saya berpikir untuk "memotong" …

13 machine-learning  neural-networks  loss-functions  noise 

Dalam buku Deep Learning Ian Goodfellow , tertulis itu Terkadang, fungsi kerugian yang benar-benar kita pedulikan (katakanlah, kesalahan klasifikasi) bukan salah satu yang dapat dioptimalkan secara efisien. Misalnya, meminimalkan kerugian yang diharapkan 0-1 yang diharapkan biasanya tidak dapat dilakukan (eksponensial dalam dimensi input), bahkan untuk pengklasifikasi linier. Dalam situasi seperti …

12 neural-networks  deep-learning  loss-functions 

Saya mulai belajar tentang jaringan saraf dengan tutorial neuralnetworksanddeeplearning dot com. Khususnya di bab ke - 3 ada bagian tentang fungsi cross entropy, dan mendefinisikan cross entropy loss sebagai: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j)) Namun, membaca pengantar Tensorflow , cross entropy …

12 neural-networks  loss-functions  softmax  cross-entropy 

Saya akan mengajukan pertanyaan terkait dengan ini . Saya menemukan contoh penulisan fungsi kehilangan kustom untuk xgboost di sini : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- getinfo(dtrain, "label") # We …

12 r  machine-learning  gradient-descent  boosting  loss-functions 

Saya ingin menggunakan pembelajaran mendalam untuk melatih deteksi biner wajah / non-wajah, kerugian apa yang harus saya gunakan, saya pikir itu adalah SigmoidCrossEntropyLoss atau Hinge-loss . Apakah itu benar, tetapi saya juga bertanya-tanya apakah saya harus menggunakan softmax tetapi hanya dengan dua kelas?

11 deep-learning  loss-functions  computer-vision  conv-neural-network 

Dalam buku Goodfellow (2016) tentang pembelajaran yang mendalam, ia berbicara tentang kesetaraan dari berhenti dini untuk regularisasi L2 ( https://www.deeplearningbook.org/contents/regularization.html halaman 247). Perkiraan kuadrat dari fungsi biaya jjj diberikan oleh: J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) HHHf(w+ϵ)=f(w)+f′(w)⋅ϵ+12f′′(w)⋅ϵ2f(w+ϵ)=f(w)+f′(w)⋅ϵ+12f″(w)⋅ϵ2f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2

11 neural-networks  deep-learning  loss-functions  derivative 

Saya mencoba membuat detektor objek yang sangat jarang terjadi (dalam gambar), berencana untuk menggunakan classifier biner CNN yang diterapkan pada jendela geser / ukuran. Saya telah membangun pelatihan 1: 1 positif-negatif yang seimbang dan set tes (apakah itu hal yang benar untuk dilakukan dalam kasus seperti itu?), Dan classifier baik-baik …

11 logistic  classification  unbalanced-classes  loss-functions 

Ini adalah fungsi kerugian penyimpangan binomial scikit GradientBoosting, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: return (-2.0 / sample_weight.sum() …

11 machine-learning  scikit-learn  boosting  loss-functions 

Solusi untuk masalah ini: minmE[|m−X|]minmE[|m−X|] \min_{m} \; E[|m-X|] dikenal sebagai median XXX , tetapi seperti apa fungsi kerugian untuk persentil lainnya? Contoh: persentil X ke-25 adalah solusi untuk: minmE[L(m,X)]minmE[L(m,X)] \min_{m} \; E[ L(m,X) ] Apa LLL dalam kasus ini?

11 expected-value  loss-functions 

Saya ragu tentang bagaimana tepatnya fungsi kerugian dari Deep Q-Learning Network dilatih. Saya menggunakan jaringan feedforward 2 layer dengan lapisan output linear dan lapisan tersembunyi relu. Anggaplah saya memiliki 4 tindakan yang memungkinkan. Dengan demikian, output dari jaringan saya untuk keadaan saat ini adalah . Untuk membuatnya lebih konkret, mari …

11 least-squares  deep-learning  loss-functions  reinforcement-learning  q-learning 

Saya telah menemukan slide ini (slide # 16 & # 17) di salah satu kursus online. Instruktur berusaha menjelaskan bagaimana Estimasi Posterior Maksimum (MAP) sebenarnya adalah solusi , di mana adalah parameter yang benar.θ ∗L(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]θ∗θ∗\theta^{*} Bisakah seseorang tolong jelaskan bagaimana hal ini terjadi? Sunting: Menambahkan slide, …

10 bayesian  optimization  loss-functions  decision-theory  map-estimation 

Saya sedang mengerjakan makalah Cho 2014 yang memperkenalkan arsitektur encoder-decoder untuk pemodelan seq2seq. Dalam makalah, mereka tampaknya menggunakan probabilitas input yang diberikan output (atau kemungkinan negatif-log) sebagai fungsi kerugian untuk input panjang dan output panjang :xxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | x_1, …, x_m) P(y_2 …

10 deep-learning  loss-functions  rnn