Gradien untuk fungsi kehilangan logistik

Saya akan mengajukan pertanyaan terkait dengan ini .

Saya menemukan contoh penulisan fungsi kehilangan kustom untuk xgboost di sini :

loglossobj <- function(preds, dtrain) {
  # dtrain is the internal format of the training data
  # We extract the labels from the training data
  labels <- getinfo(dtrain, "label")
  # We compute the 1st and 2nd gradient, as grad and hess
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  # Return the result as a list
  return(list(grad = grad, hess = hess))
}

Fungsi kerugian logistik adalah

l o g (1 + e^{- y P})

$log(1+e^{-yP})$

di mana adalah peluang-log dan adalah label (0 atau 1). $P$ $y$

Pertanyaan saya adalah: bagaimana kita bisa mendapatkan gradien (turunan pertama) sama dengan perbedaan antara nilai sebenarnya dan probabilitas yang diprediksi (dihitung dari log-odds sebagai preds <- 1/(1 + exp(-preds)))?

— Ogurtsov
sumber

Anda harus menggunakan hilangnya kesalahan kuadrat untuk mencapai itu. Notasi Anda membingungkan dan harus didefinisikan dalam posting. Jika adalah risiko yang diprediksi, maka kerugian adalah apa yang Anda inginkan. Saya bingung karena kita tidak pernah menggunakan untuk mengartikan peluang log.

p

$p$

(y - p)^{2}

$(y-p)^2$

p

$p$

— AdamO

p

$p$ tetap ke ibukota . Log-odds, dan ditandai dengan jelas dalam pertanyaan. Saya tahu bahwa gradien untuk fungsi kerugian adalah , tetapi itu adalah kerugian yang dikurangkan, bukan logistik.

P

$P$

(y - f (x))^{2}

$(y-f(x))^2$

f (x) - y

$f(x)-y$

— Ogurtsov

Ketika Anda mengatakan "gradien", gradien apa yang Anda maksud? Kemiringan kerugian? Ini adalah hubungan matematis sederhana bahwa jika turunan dari suatu ekspresi adalah perbedaan linear, maka ekspresi itu adalah perbedaan kuadratik, atau kuadrat kesalahan yang hilang.

— AdamO

Ya, itu semua tentang gradien kerugian. Ini sederhana, ketika fungsi kerugian adalah kesalahan kuadrat. Dalam hal ini fungsi kerugian adalah kehilangan logistik ( en.wikipedia.org/wiki/LogitBoost ), dan saya tidak dapat menemukan korespondensi antara gradien fungsi ini dan contoh kode yang diberikan.

— Ogurtsov

Jawaban saya untuk pertanyaan saya: ya, dapat ditunjukkan bahwa gradien untuk kehilangan logistik sama dengan perbedaan antara nilai sebenarnya dan probabilitas yang diprediksi. Penjelasan singkat ditemukan di sini .

Pertama, kehilangan logistik hanyalah log-likelihood negatif, jadi kita bisa mulai dengan ekspresi untuk log-likelihood ( p. 74 - ungkapan ini adalah log-likelihood itu sendiri, bukan log-likelihood negatif):

L = y_{i} \cdot l o g (p_{i}) + (1 - y_{i}) \cdot l o g (1 - p_{i})

$L=y_{i}\cdot log(p_{i})+(1-y_{i})\cdot log(1-p_{i})$

$p_{i}$ $p_{i}=\frac{1}{1+e^{-\hat{y}_{i}}}$ $\hat{y}_{i}$

L = y_{i} \cdot l o g (\frac{1}{1 + e^{- {\hat{y}}_{i}}}) + (1 - y_{i}) \cdot l o g (\frac{e^{- {\hat{y}}_{i}}}{1 + e^{- {\hat{y}}_{i}}})

$L=y_{i}\cdot log\left(\frac{1}{1+e^{-\hat{y}_{i}}}\right)+(1-y_{i})\cdot log\left(\frac{e^{-\hat{y}_{i}}}{1+e^{-\hat{y}_{i}}}\right)$

Derivatif pertama diperoleh dengan menggunakan Wolfram Alpha:

L^{'} = \frac{y_{i} - (1 - y_{i}) \cdot e^{{\hat{y}}_{i}}}{1 + e^{{\hat{y}}_{i}}}

${L}'=\frac{y_{i}-(1-y_{i})\cdot e^{\hat{y}_{i}}}{1+e^{\hat{y}_{i}}}$

$\frac{e^{-\hat{y}_{i}}}{e^{-\hat{y}_{i}}}$

L^{'} = \frac{y_{i} \cdot e^{- {\hat{y}}_{i}} + y_{i} - 1}{1 + e^{- {\hat{y}}_{i}}} = \frac{y_{i} \cdot (1 + e^{- {\hat{y}}_{i}})}{1 + e^{- {\hat{y}}_{i}}} - \frac{1}{1 + e^{- {\hat{y}}_{i}}} = y_{i} - p_{i}

${L}'=\frac{y_{i}\cdot e^{-\hat{y}_{i}}+y_{i}-1}{1+e^{-\hat{y}_{i}}}= \frac{y_{i}\cdot (1+e^{-\hat{y}_{i}})}{1+e^{-\hat{y}_{i}}}-\frac{1}{1+e^{-\hat{y}_{i}}}=y_{i}-p_{i}$

Setelah mengubah tanda kami memiliki ekspresi untuk gradien fungsi kehilangan logistik:

p_{i} - y_{i}

$p_{i}-y_{i}$

— Ogurtsov
sumber

\hat{y}

$\hat{y}$

y

$y$

ν

$\nu$

\frac{1}{p_{i} (1 - p_{i})} (y_{i} - p_{i})

$\frac{1}{p_i(1-p_i)}(y_i - p_i)$