Fungsi kerugian mana yang benar untuk regresi logistik?

Saya membaca tentang dua versi fungsi kerugian untuk regresi logistik, mana yang benar dan mengapa?

1. Dari Machine Learning , Zhou ZH (dalam bahasa Cina), dengan :$\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b$

   $$l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1$$

2. Dari kursus kuliah saya, dengan :$z_i = y_if(x_i)=y_i(w^Tx_i + b)$

   $$L(z_i)=\log(1+e^{-z_i}) \tag 2$$

---

Saya tahu bahwa yang pertama adalah akumulasi dari semua sampel dan yang kedua adalah untuk satu sampel, tetapi saya lebih ingin tahu tentang perbedaan dalam bentuk dua fungsi kerugian. Entah bagaimana saya merasa mereka setara.

Hubungannya adalah sebagai berikut: $l(\beta) = \sum_i L(z_i)$ .

Tentukan fungsi logistik sebagai $f(z) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1+e^{-z}}$ . Mereka memiliki properti yang$f(-z) = 1-f(z)$. Atau dengan kata lain:

$$\frac{1}{1+e^{z}} = \frac{e^{-z}}{1+e^{-z}}.$$

Jika Anda mengambil kebalikan dari kedua belah pihak, maka ambil log yang Anda dapatkan:

$$\ln(1+e^{z}) = \ln(1+e^{-z}) + z.$$

Kurangi dari kedua sisi dan Anda akan melihat ini:$z$

$$-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i}) = L(z_i).$$

Edit:

Saat ini saya membaca kembali jawaban ini dan bingung tentang bagaimana saya dapat sama dengan - y i β T x i + l n ( 1 + e y i β T x i ) . Mungkin ada kesalahan ketik pada pertanyaan awal.$-y_i\beta^Tx_i+ln(1+e^{\beta^Tx_i})$$-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i})$

Edit 2:

Dalam hal tidak ada kesalahan ketik pada pertanyaan awal, @ManelMorales tampaknya benar untuk menarik perhatian pada fakta bahwa, ketika , fungsi massa probabilitas dapat dituliskan sebagai P ( Y i = y i ) = f ( y i β T x i ) , karena properti yang f ( - z ) = 1 - f ( z $y \in \{-1,1\}$$P(Y_i=y_i) = f(y_i\beta^Tx_i)$$f(-z) = 1 - f(z)$. Saya kembali menulis secara berbeda di sini, karena ia memperkenalkan dalih baru pada notasi . Sisanya mengikuti dengan mengambil kemungkinan log-negatif untuk setiap pengkodean y . Lihat jawabannya di bawah ini untuk lebih jelasnya.$z_i$$y$

OP secara keliru percaya bahwa hubungan antara kedua fungsi ini disebabkan oleh jumlah sampel (yaitu tunggal vs semua). Namun, perbedaan sebenarnya adalah bagaimana kami memilih label pelatihan kami.

Dalam kasus klasifikasi biner, kita dapat menetapkan label $y=\pm1$ atau $y=0,1$ .

Seperti yang telah dinyatakan, fungsi logistik $\sigma(z)$ adalah pilihan yang baik karena memiliki bentuk probabilitas, yaitu $\sigma(-z)=1-\sigma(z)$ dan $\sigma(z)\in (0,1)$ sebagai $z\rightarrow \pm \infty$ . Jika kami memilih label $y=0,1$ kami dapat menetapkan

$$\begin{equation} \begin{aligned} \mathbb{P}(y=1|z) & =\sigma(z)=\frac{1}{1+e^{-z}}\\ \mathbb{P}(y=0|z) & =1-\sigma(z)=\frac{1}{1+e^{z}}\\ \end{aligned} \end{equation}$$

yang dapat ditulis lebih kompak sebagai $\mathbb{P}(y|z) =\sigma(z)^y(1-\sigma(z))^{1-y}$ .

Lebih mudah untuk memaksimalkan kemungkinan log. Memaksimalkan kemungkinan log sama dengan meminimalkan kemungkinan log negatif. Untuk sampel $m$$\{x_i,y_i\}$ , setelah mengambil logaritma natural dan beberapa penyederhanaan, kita akan menemukan:

$$\begin{equation} \begin{aligned} l(z)=-\log\big(\prod_i^m\mathbb{P}(y_i|z_i)\big)=-\sum_i^m\log\big(\mathbb{P}(y_i|z_i)\big)=\sum_i^m-y_iz_i+\log(1+e^{z_i}) \end{aligned} \end{equation}$$

Derivasi penuh dan informasi tambahan dapat ditemukan di notebook jupyter ini . Di sisi lain, kita mungkin menggunakan label $y=\pm 1$ . Cukup jelas bahwa kita dapat menetapkan

$$\begin{equation} \mathbb{P}(y|z)=\sigma(yz). \end{equation}$$

Juga jelas bahwa $\mathbb{P}(y=0|z)=\mathbb{P}(y=-1|z)=\sigma(-z)$ . Mengikuti langkah yang sama seperti sebelumnya kami meminimalkan dalam hal ini fungsi kerugian

$$\begin{equation} \begin{aligned} L(z)=-\log\big(\prod_j^m\mathbb{P}(y_j|z_j)\big)=-\sum_j^m\log\big(\mathbb{P}(y_j|z_j)\big)=\sum_j^m\log(1+e^{-yz_j}) \end{aligned} \end{equation}$$

Dimana langkah terakhir mengikuti setelah kita mengambil timbal balik yang diinduksi oleh tanda negatif. Meskipun kita tidak harus menyamakan dua bentuk ini, mengingat bahwa dalam setiap bentuk $y$ mengambil nilai yang berbeda, namun keduanya setara:

$$\begin{equation} \begin{aligned} -y_iz_i+\log(1+e^{z_i})\equiv \log(1+e^{-yz_j}) \end{aligned} \end{equation}$$

Kasus $y_i=1$ sepele untuk ditampilkan. Jika $y_i \neq 1$ , maka $y_i=0$ di sisi kiri dan $y_i=-1$ di sisi kanan.

Walaupun mungkin ada alasan mendasar mengapa kita memiliki dua bentuk yang berbeda (lihat Mengapa ada dua formulasi / notasi kerugian logistik yang berbeda? ), Satu alasan untuk memilih yang pertama adalah karena pertimbangan praktis. Dalam yang pertama kita dapat menggunakan properti $\partial \sigma(z) / \partial z=\sigma(z)(1-\sigma(z))$ untuk menghitung secara sepele $\nabla l(z)$ dan $\nabla^2l(z)$, keduanya diperlukan untuk analisis konvergensi (yaitu untuk menentukan kecembungan fungsi kerugian dengan menghitung Hessian ).

Saya belajar fungsi kerugian untuk regresi logistik sebagai berikut.

Regresi logistik melakukan klasifikasi biner, sehingga keluaran labelnya adalah biner, 0 atau 1. Misalkan menjadi probabilitas bahwa keluaran biner y adalah 1 diberi fitur vektor input x . Koefisien w adalah bobot yang algoritma sedang mencoba untuk belajar.$P(y=1|x)$$y$$x$$w$

$$P(y=1|x) = \frac{1}{1 + e^{-w^{T}x}}$$

Karena regresi logistik adalah biner, probabilitas hanyalah 1 minus istilah di atas.$P(y=0|x)$

$$P(y=0|x) = 1- \frac{1}{1 + e^{-w^{T}x}}$$

Fungsi kerugian adalah jumlah dari (A) output y = 1 dikalikan dengan P ( y = 1 ) dan (B) output y = 0 dikalikan dengan P ( y = 0 ) untuk satu contoh pelatihan, dijumlahkan lebih m contoh pelatihan.$J(w)$$y=1$$P(y=1)$$y=0$$P(y=0)$$m$

$$J(w) = \sum_{i=1}^{m} y^{(i)} \log P(y=1) + (1 - y^{(i)}) \log P(y=0)$$

di mana menunjukkan label i t h dalam data pelatihan Anda. Jika sebuah instance pelatihan memiliki label 1 , maka y ( i ) = 1 , meninggalkan summen kiri di tempatnya tetapi membuat summen kanan dengan 1 - y ( i ) menjadi 0 . Di sisi lain, jika instance pelatihan memiliki y = 0 , maka summand kanan dengan term 1 - y ( i ) tetap ada, tetapi sumand kiri menjadi $y^{(i)}$$i^{th}$$1$$y^{(i)}=1$$1-y^{(i)}$$0$$y=0$$1-y^{(i)}$$0$. Probabilitas log digunakan untuk kemudahan perhitungan.

Jika kita mengganti dan P ( y = 0 ) dengan ekspresi sebelumnya, maka kita mendapatkan:$P(y=1)$$P(y=0)$

$$J(w) = \sum_{i=1}^{m} y^{(i)} \log \left(\frac{1}{1 + e^{-w^{T}x}}\right) + (1 - y^{(i)}) \log \left(1- \frac{1}{1 + e^{-w^{T}x}}\right)$$

Anda dapat membaca lebih lanjut tentang formulir ini di catatan kuliah Stanford ini .

Alih-alih Mean Squared Error, kami menggunakan fungsi biaya yang disebut Cross-Entropy, juga dikenal sebagai Log Loss. Kerugian lintas-entropi dapat dibagi menjadi dua fungsi biaya yang terpisah: satu untuk y = 1 dan satu untuk y = 0.

$$\begin{align}\newcommand{\Cost}{{\rm Cost}}\newcommand{\if}{{\rm if}} j(\theta) &= \frac 1 m \sum_{i=1}^m \Cost(h_\theta(x^{(i)}), y^{(i)}) & & \\ \Cost(h_\theta(x), y) &= -\log(h_\theta(x)) & \if\ y &= 1 \\ \Cost(h_\theta(x), y) &= -\log(1-h_\theta(x)) & \if\ y &= 0 \end{align}$$

Ketika kita menempatkan mereka bersama kita memiliki:

$$j(\theta) = \frac 1 m \sum_{i=1}^m \big[y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x)^{(i)}) \big]$$

$y$$(1−y)$$y=1$$y=0$$y=0$$y=1$

Jika Anda tidak ingin menggunakan forloop, Anda dapat mencoba bentuk vektor dari persamaan di atas

$$\begin{align} h &= g(X\theta) \\ J(\theta) &= \frac 1 m \cdot \big(-y^T\log(h)-(1-y)^T\log(1-h)\big) \end{align}$$

Seluruh penjelasan dapat dilihat di Lembar Pembelajaran Mesin .