Goni fungsi logistik

Saya mengalami kesulitan untuk mendapatkan Hessian dari fungsi objektif, $l(\theta)$ , dalam regresi logistik di mana adalah: $l(\theta)$

$$l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right]$$

$h_\theta(x)$ adalah fungsi logistik. Hessian adalah . Saya mencoba menurunkannya dengan menghitung , tetapi kemudian tidak jelas bagi saya bagaimana cara mendapatkan notasi matriks dari .$X^T D X$$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$

Adakah yang tahu cara bersih dan mudah untuk mendapatkan ?$X^T D X$

Di sini saya mendapatkan semua sifat dan identitas yang diperlukan agar solusi dapat berdiri sendiri, tetapi selain itu derivasi ini bersih dan mudah. Mari kita meresmikan notasi kita dan menulis fungsi kerugian sedikit lebih kompak. Pertimbangkan $m$ sampel $\{x_i,y_i\}$ sehingga $x_i\in\mathbb{R}^d$ dan $y_i\in\mathbb{R}$ . Ingatlah bahwa dalam regresi logistik biner kita biasanya memiliki fungsi hipotesis $h_\theta$ menjadi fungsi logistik. Secara formal

$$h_\theta(x_i)=\sigma(\omega^Tx_i)=\sigma(z_i)=\frac{1}{1+e^{-z_i}},$$

dimana $\omega\in\mathbb{R}^d$ dan $z_i=\omega^Tx_i$ . Fungsi kerugian (yang saya percaya OP kehilangan tanda negatif) kemudian didefinisikan sebagai:

$$l(\omega)=\sum_{i=1}^m -\Big( y_i\log\sigma(z_i)+(1-y_i)\log(1-\sigma(z_i))\Big)$$

Ada dua sifat penting dari fungsi logistik yang saya peroleh di sini untuk referensi di masa mendatang. Pertama, perhatikan bahwa $1-\sigma(z)=1-1/(1+e^{-z})=e^{-z}/(1+e^{-z})=1/(1+e^z)=\sigma(-z)$ .

Perhatikan juga itu

$$\begin{equation} \begin{aligned} \frac{\partial}{\partial z}\sigma(z)=\frac{\partial}{\partial z}(1+e^{-z})^{-1}=e^{-z}(1+e^{-z})^{-2}&=\frac{1}{1+e^{-z}}\frac{e^{-z}}{1+e^{-z}} =\sigma(z)(1-\sigma(z)) \end{aligned} \end{equation}$$

Alih-alih mengambil turunan sehubungan dengan komponen, di sini kami akan bekerja langsung dengan vektor (Anda dapat meninjau turunan dengan vektor di sini ). Hessian dari fungsi kerugian $l(\omega)$ diberikan oleh $\vec{\nabla}^2l(\omega)$ , tetapi pertama-tama ingat bahwa$\frac{\partial z}{\partial \omega} = \frac{x^T\omega}{\partial \omega}=x^T$dan$\frac{\partial z}{\partial \omega^T}=\frac{\partial \omega^Tx}{\partial \omega ^T} = x$ .

Mari $l_i(\omega)=-y_i\log\sigma(z_i)-(1-y_i)\log(1-\sigma(z_i))$ . Menggunakan properti yang kami peroleh di atas dan aturan rantai

$$\begin{equation} \begin{aligned} \frac{\partial \log\sigma(z_i)}{\partial \omega^T} &= \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial \omega^T} = \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial z_i}\frac{\partial z_i}{\partial \omega^T}=(1-\sigma(z_i))x_i\\ \frac{\partial \log(1-\sigma(z_i))}{\partial \omega^T}&= \frac{1}{1-\sigma(z_i)}\frac{\partial(1-\sigma(z_i))}{\partial \omega^T} =-\sigma(z_i)x_i \end{aligned} \end{equation}$$

Sekarang sepele untuk menunjukkan itu

$$\vec{\nabla}l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega^T} =-y_ix_i(1-\sigma(z_i))+(1-y_i)x_i\sigma(z_i)=x_i(\sigma(z_i)-y_i)$$

Wah!

Langkah terakhir kami adalah menghitung Hessian

$$\vec{\nabla}^2l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega\partial \omega^T}=x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$$

For $m$ samples we have $\vec{\nabla}^2l(\omega)=\sum_{i=1}^m x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$. This is equivalent to concatenating column vectors $x_i\in\mathbb{R}^d$ into a matrix $X$ of size $d\times m$ such that $\sum_{i=1}^m x_ix_i^T=XX^T$. The scalar terms are combined in a diagonal matrix $D$ such that $D_{ii}=\sigma(z_i)(1-\sigma(z_i))$. Finally, we conclude that

$$\vec{H}(\omega)=\vec{\nabla}^2l(\omega)=XDX^T$$

A faster approach can be derived by considering all samples at once from the beginning and instead work with matrix derivatives. As an extra note, with this formulation it's trivial to show that $l(\omega)$ is convex. Let $\delta$ be any vector such that $\delta\in\mathbb{R}^d$. Then

$$\delta^T\vec{H}(\omega)\delta = \delta^T\vec{\nabla}^2l(\omega)\delta = \delta^TXDX^T\delta = \delta^TXD(\delta^TX)^T = \|\delta^TDX\|^2\geq 0$$

since $D>0$ and $\|\delta^TX\|\geq 0$. This implies $H$ is positive-semidefinite and therefore $l$ is convex (but not strongly convex).