Pertanyaan yang diberi tag «loss-functions»

Saya melatih jaringan saraf untuk mengklasifikasikan satu set objek menjadi n-kelas. Setiap objek dapat menjadi milik beberapa kelas sekaligus (multi-class, multi-label). Saya membaca bahwa untuk masalah multi-kelas umumnya direkomendasikan untuk menggunakan softmax dan entropi lintas kategorikal sebagai fungsi kerugian alih-alih mse dan saya kurang lebih mengerti mengapa. Untuk masalah saya …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Pertama-tama, saya menyadari jika saya perlu melakukan prediksi biner, saya harus membuat setidaknya dua kelas melalui melakukan satu-hot-encoding. Apakah ini benar? Namun, apakah binary cross entropy hanya untuk prediksi dengan hanya satu kelas? Jika saya menggunakan kerugian entropi lintas kategoris yang biasanya ditemukan di sebagian besar perpustakaan (seperti TensorFlow), apakah …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Fungsi biaya jaringan saraf adalah , dan diklaim non-cembung . Saya tidak begitu mengerti mengapa seperti itu, karena seperti yang saya lihat itu sangat mirip dengan fungsi biaya dari regresi logistik, kan?J(W,b)J(W,b)J(W,b) Jika non-cembung, maka turunan urutan kedua , kan?∂J∂W&lt;0∂J∂W&lt;0\frac{\partial J}{\partial W} < 0 MEMPERBARUI Berkat jawaban di bawah ini …

36 neural-networks  loss-functions 

Saya agak bingung dengan kuliah tentang regresi linier yang diberikan oleh Andrew Ng pada Coursera tentang pembelajaran mesin. Di sana, ia memberikan fungsi biaya yang meminimalkan jumlah kuadrat sebagai: 12 m∑i = 1m( hθ( X( i )) - Y( i ))212m∑saya=1m(hθ(X(saya))-Y(saya))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 Saya mengerti dari mana berasal. …

32 regression  machine-learning  loss-functions 

Apakah istilah "kehilangan" identik dengan "kesalahan"? Apakah ada perbedaan definisi? Juga, apa asal dari istilah "kerugian"? NB: Fungsi kesalahan yang disebutkan di sini tidak menjadi bingung dengan kesalahan normal.

31 loss-functions 

Saya membaca tentang dua versi fungsi kerugian untuk regresi logistik, mana yang benar dan mengapa? Dari Machine Learning , Zhou ZH (dalam bahasa Cina), dengan :β= ( w , b ) dan βTx = wTx + bβ=(w,b) and βTx=wTx+b\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b l ( β) = ∑i …

31 logistic  loss-functions 

Saya akan menjelaskan masalah saya dengan sebuah contoh. Misalkan Anda ingin memprediksi penghasilan seseorang yang diberikan beberapa atribut: {Usia, Jenis Kelamin, Negara, Wilayah, Kota}. Anda memiliki dataset pelatihan seperti itu train &lt;- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Sebagai contoh, ambil fungsi objektif dari model XGBoost pada iterasi :ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) di mana adalah fungsi kerugian, adalah keluaran pohon ke - dan adalah regularisasi. Salah satu (banyak) langkah utama untuk perhitungan cepat adalah perkiraan:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), di mana dan adalah turunan pertama dan kedua dari fungsi loss.gigig_ihihih_i Yang saya …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Kita tahu bahwa beberapa fungsi obyektif lebih mudah dioptimalkan dan ada juga yang sulit. Dan ada banyak fungsi kerugian yang ingin kita gunakan tetapi sulit digunakan, misalnya kerugian 0-1. Jadi kami menemukan beberapa fungsi kehilangan proxy untuk melakukan pekerjaan. Misalnya, kami menggunakan kehilangan engsel atau kehilangan logistik untuk "memperkirakan" kehilangan …

27 machine-learning  classification  optimization  loss-functions 

Saat melatih jaringan saraf segmentasi piksel, seperti jaringan konvolusional penuh, bagaimana Anda membuat keputusan untuk menggunakan fungsi kehilangan lintas-entropi versus fungsi kerugian koefisien-dadu? Saya menyadari ini adalah pertanyaan singkat, tetapi tidak yakin informasi apa yang diberikan. Saya melihat sekumpulan dokumentasi tentang dua fungsi yang hilang tetapi tidak bisa memahami secara …

27 neural-networks  loss-functions  cross-entropy 

Kehilangan latihan saya turun dan naik lagi. Sangat aneh. Kehilangan validasi silang melacak kehilangan pelatihan. Apa yang sedang terjadi? Saya memiliki dua LSTMS yang ditumpuk sebagai berikut (pada Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Saya latih untuk 100 Zaman: model.fit(X_train, …

26 machine-learning  neural-networks  loss-functions  lstm 

Saya mencoba menerapkan gradient descent dasar dan saya mengujinya dengan fungsi kehilangan engsel yaitu . Namun, saya bingung tentang gradien kehilangan engsel. Saya mendapat kesan bahwa itu adalahlengsel= maks ( 0 , 1 - y x ⋅ w )lengsel=maks(0,1-y x⋅w)l_{\text{hinge}} = \max(0,1-y\ \boldsymbol{x}\cdot\boldsymbol{w}) ∂∂wlengsel= { - y x0jika y x …

25 loss-functions 

Saya mencoba memahami regresi kuantitatif, tetapi satu hal yang membuat saya menderita adalah pilihan fungsi kerugian. ρτ( u ) = u ( τ- 1{ u &lt; 0 })ρτ(kamu)=kamu(τ-1{kamu&lt;0})\rho_\tau(u) = u(\tau-1_{\{u<0\}}) Saya tahu bahwa minimum harapan sama dengan -quantile, tetapi apa alasan intuitif untuk memulai dengan fungsi ini? Saya tidak melihat …

24 quantiles  loss-functions  quantile-regression 

Masalah Dalam regresi satu biasanya menghitung mean squared error (MSE) untuk sampel: untuk mengukur kualitas prediktor.MSE = 1n∑i = 1n( g( xsaya) - gˆ( xsaya) )2MSE=1n∑saya=1n(g(xsaya)-g^(xsaya))2 \text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2 Saat ini saya sedang mengerjakan masalah regresi di mana tujuannya adalah untuk memprediksi harga yang bersedia dibayar oleh …

24 regression  error  loss-functions 

Jadi saya ditanya pertanyaan yang mengukur L1 (yaitu, laso) dan L2 (yaitu, regresi ridge) diperkirakan. Jawabannya adalah L1 = median dan L2 = rata-rata. Apakah ada jenis alasan intuitif untuk ini? Atau harus ditentukan secara aljabar? Jika demikian, bagaimana cara saya melakukan itu?

24 lasso  regularization  loss-functions  ridge-regression