Mengapa menggunakan metode Newton untuk optimasi regresi logistik disebut kuadrat ulang tertimbang iteratif?

Mengapa menggunakan metode Newton untuk optimasi regresi logistik disebut kuadrat ulang tertimbang iteratif?

Sepertinya tidak jelas bagi saya karena kehilangan logistik dan paling tidak hilangnya kotak adalah hal yang sama sekali berbeda.

Ringkasan: GLM sesuai melalui skor Fisher yang, seperti Dimitriy V. Masterov catat, adalah Newton-Raphson dengan Hessian yang diharapkan sebagai gantinya (yaitu kami menggunakan perkiraan informasi Fisher alih-alih informasi yang diamati). Jika kita menggunakan fungsi tautan kanonik, ternyata Hessian yang diamati sama dengan Hessian yang diharapkan sehingga skor NR dan Fisher sama dalam hal itu. Either way, kita akan melihat bahwa skor Fisher benar-benar cocok dengan model linear kuadrat terkecil, dan koefisien estimasi dari konvergen * ini pada maksimum dari kemungkinan regresi logistik. Selain mengurangi penyesuaian regresi logistik untuk masalah yang sudah dipecahkan, kami juga mendapatkan manfaat karena dapat menggunakan diagnostik regresi linier pada WLS akhir yang sesuai untuk mempelajari tentang regresi logistik kami.

Saya akan tetap fokus pada regresi logistik, tetapi untuk perspektif yang lebih umum tentang kemungkinan maksimum dalam GLM, saya merekomendasikan bagian 15.3 dari bab ini yang membahas hal ini dan menurunkan IRLS dalam pengaturan yang lebih umum (saya pikir itu dari John Fox's Applied Analisis Regresi dan Model Linear Umum ).

lihat komentar di bagian akhir$^*$

---

Fungsi kemungkinan dan skor

Kami akan menyesuaikan GLM kami dengan mengulangi sesuatu dari bentuk manaℓadalah kemungkinan log danJmakan berupa Goni yang diamati atau diperkirakan kemungkinan log.

$$b^{(m+1)} = b^{(m)} - J^{-1}_{(m)}\nabla \ell(b^{(m)})$$ $\ell$$J_{m}$

Fungsi tautan kami adalah fungsi yang memetakan mean bersyarat μ i = E ( y $g$ ke prediktor linier kami, jadi model kami untuk rata-rata adalah g ( μ i ) = x T i β . Biarkan h menjadi fungsi tautan terbalik memetakan prediktor linier ke nilai tengah.$\mu_i = E(y_i | x_i)$$g(\mu_i) = x_i^T\beta$$h$

Untuk regresi logistik kita memiliki kemungkinan Bernoulli dengan pengamatan independen sehingga Mengambil turunan, ∂

$$\ell(b; y) = \sum_{i=1}^n y_i\log h(x_i^T b) + (1 - y_i) \log(1 - h(x_i^Tb)).$$ = n ∑ i=1xijh′(x T i b)( y $$\frac{\partial \ell}{\partial b_j} = \sum_{i=1}^n \frac{y_i}{h(x_i^T b)} h'(x_i^T b) x_{ij} - \frac{1 - y_i}{1 - h(x_i^T b)} h'(x_i^T b) x_{ij}$$ =∑ixijh′(x T i b $$= \sum_{i=1}^n x_{ij} h'(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right)$$ $$= \sum_i x_{ij} \frac{h'(x_i^T b)}{h(x_i^T b)(1 - h(x_i^T b))}(y_i - h(x_i^T b)).$$

---

Menggunakan tautan kanonik

Sekarang anggap kita menggunakan fungsi tautan kanonik . Kemudian g - 1 c ( x ) : = h c ( x ) = $g_c = \text{logit}$ jadih ′ c =hc⋅(1-hc)yang artinya ini disederhanakan menjadi ∂$g^{-1}_c(x) := h_c(x) = \frac{1}{1+e^{-x}}$$h_c' = h_c \cdot (1-h_c)$ jadi ∇ℓ(b;y)=X

$$\frac{\partial \ell}{\partial b_j} = \sum_i x_{ij} (y_i - h_c(x_i^T b))$$ Selanjutnya, masih menggunakan h c , ∂ 2 $$\nabla \ell (b; y) = X^T (y - \hat y).$$ $h_c$ $$\frac{\partial^2 \ell}{\partial b_k \partial b_j} = - \sum_i x_{ij} \frac{\partial}{\partial b_k} h_c(x_i^T b) = - \sum_i x_{ij}x_{ik} \left[h_c(x_i^T b) (1 - h_c(x_i^T b))\right].$$

Misalkan Kemudian kita memiliki H = - X T W X dan perhatikan bagaimana ini tidak memiliki y i di dalamnya lagi, jadi E ( H ) = H (kita melihat ini sebagai fungsi b sehingga satu-satunya hal acak adalah y diri). Jadi kami telah menunjukkan bahwa skor Fisher setara dengan Newton-Raphson ketika kami menggunakan tautan kanonik dalam regresi logistik. Juga

$$W = \text{diag}\left(h_c(x_1^T b)(1 - h_c(x_1^T b)), \dots, h_c(x_n^T b)(1 - h_c(x_n^T b))\right) = \text{diag}\left(\hat y_1(1 - \hat y_1), \dots, \hat y_n (1 - \hat y_n)\right).$$ $$H = -X^TWX$$ $y_i$$E(H) = H$$b$$y$-XTWXakan selalu ketat negatif pasti, meskipun secara numerik jika$\hat y_i \in (0,1)$ $-X^TWX$terlalu dekat dengan0atau1maka kita mungkin harus bobot bulat untuk0yang dapat membuatHsemidefinite negatif dan karena itu komputasi tunggal.$\hat y_i$$0$$1$$0$$H$

Sekarang membuat bekerja respon dan catatan yang ∇ ℓ = X T ( y - y ) = X T W z $z = W^{-1}(y - \hat y)$

$$\nabla \ell = X^T(y - \hat y) = X^T W z.$$

Semua bersama-sama ini berarti bahwa kita dapat mengoptimalkan log kemungkinan dengan iterasi dan ( X T W ( m ) X ) - 1 X T W ( m ) z (

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)} X)^{-1}X^T W_{(m)} z_{(m)}$$ Adalah persis β untuk tertimbang kuadrat regresi setidaknya dari z ( m ) padaX.$(X^T W_{(m)} X)^{-1}X^T W_{(m)} z_{(m)}$$\hat \beta$$z_{(m)}$$X$

Memeriksa ini di R:

set.seed(123)
p <- 5
n <- 500
x <- matrix(rnorm(n * p), n, p)
betas <- runif(p, -2, 2)
hc <- function(x) 1 /(1 + exp(-x)) # inverse canonical link
p.true <- hc(x %*% betas)
y <- rbinom(n, 1, p.true)

# fitting with our procedure
my_IRLS_canonical <- function(x, y, b.init, hc, tol=1e-8) {
  change <- Inf
  b.old <- b.init
  while(change > tol) {
    eta <- x %*% b.old  # linear predictor
    y.hat <- hc(eta)
    h.prime_eta <- y.hat * (1 - y.hat)
    z <- (y - y.hat) / h.prime_eta

    b.new <- b.old + lm(z ~ x - 1, weights = h.prime_eta)$coef  # WLS regression
    change <- sqrt(sum((b.new - b.old)^2))
    b.old <- b.new
  }
  b.new
}

my_IRLS_canonical(x, y, rep(1,p), hc)
# x1         x2         x3         x4         x5 
# -1.1149687  2.1897992  1.0271298  0.8702975 -1.2074851

glm(y ~ x - 1, family=binomial())$coef
# x1         x2         x3         x4         x5 
# -1.1149687  2.1897992  1.0271298  0.8702975 -1.2074851 

dan mereka setuju.

---

Fungsi tautan non-kanonik

Sekarang jika kita tidak menggunakan tautan kanonik kita tidak mendapatkan penyederhanaan dari dalam∇ℓsehinggaHmenjadi jauh lebih rumit, dan oleh karena itu kami melihat perbedaan yang nyata dengan menggunakanE(H)dalam skor Fisher kami.$\frac{h'}{h(1-h)} = 1$$\nabla \ell$$H$$E(H)$

$\nabla \ell$

$$\frac{\partial^2 \ell}{\partial b_k \partial b_j} = \sum_i x_{ij} \frac{\partial}{\partial b_k}h'(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right)$$ $$= \sum_i x_{ij}x_{ik} \left[h''(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{y_i}{h(x_i^T b)^2} + \frac{1-y_i}{(1-h(x_i^T b))^2} \right)\right]$$

Via the linearity of expectation all we need to do to get $E(H)$ is replace each occurrence of $y_i$ with its mean under our model which is $\mu_i=h(x_i^T\beta)$. Each term in the summand will therefore contain a factor of the form

$$h''(x_i^T b) \left(\frac{h(x_i^T \beta)}{h(x_i^T b)} - \frac{1 - h(x_i^T \beta)}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{h(x_i^T \beta)}{h(x_i^T b)^2} + \frac{1-h(x_i^T \beta)}{(1-h(x_i^T b))^2} \right).$$ But to actually do our optimization we'll need to estimate each $\beta$, and at step $m$ $b^{(m)}$ is the best guess we have. This means that this will reduce to $$h''(x_i^T b) \left(\frac{h(x_i^T b)}{h(x_i^T b)} - \frac{1 - h(x_i^T b)}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{h(x_i^T b)}{h(x_i^T b)^2} + \frac{1-h(x_i^T b)}{(1-h(x_i^T b))^2} \right)$$ $$= - h'(x_i^T b)^2\left(\frac{1}{h(x_i^T b)} + \frac{1}{1-h(x_i^T b)} \right)$$ $$= -\frac{h'(x_i^T b)^2}{h(x_i^T b)(1-h(x_i^T b))}.$$ This means we will use $J$ with $$J_{jk} = -\sum_i x_{ij}x_{ik} \frac{h'(x_i^T b)^2}{h(x_i^T b)(1-h(x_i^T b))}.$$

Now let

$$W^* = \text{diag}\left(\frac{h'(x_1^T b)^2}{h(x_1^T b)(1-h(x_1^T b))} ,\dots, \frac{h'(x_n^T b)^2}{h(x_n^T b)(1-h(x_n^T b))}\right)$$ and note how under the canonical link $h_c' = h_c \cdot (1-h_c)$ reduces $W^*$ to $W$ from the previous section. This lets us write $$J = -X^TW^*X$$ except this is now $\hat E(H)$ rather than necessarily being $H$ itself, so this can differ from Newton-Raphson. For all $i$ $W_{ii}^* > 0$ so aside from numerical issues $J$ will be negative definite.

We have

$$\frac{\partial \ell}{\partial b_j} = \sum_i x_{ij} \frac{h'(x_i^T b)}{h(x_i^T b)(1 - h(x_i^T b))}(y_i - h(x_i^T b))$$ so letting our new working response be $z^* = D^{-1}(y-\hat y)$ with $D=\text{diag}\left(h'(x_1^T b), \dots, h'(x_n^T b)\right)$, we have $\nabla \ell = X^TW^*z^*$.

All together we are iterating

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)}^* X)^{-1}X^T W_{(m)}^* z_{(m)}^*$$ so this is still a sequence of WLS regressions except now it's not necessarily Newton-Raphson.

---

I've written it out this way to emphasize the connection to Newton-Raphson, but frequently people will factor the updates so that each new point $b^{(m+1)}$ is itself the WLS solution, rather than a WLS solution added to the current point $b^{(m)}$. If we wanted to do this, we can do the following:

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)}^* X)^{-1}X^T W_{(m)}^* z_{(m)}^*$$ $$= (X^T W_{(m)}^* X)^{-1}\left(X^T W_{(m)}^* Xb^{(m)}+ X^TW^*_{(m)}z_{(m)}^* \right)$$ $$= (X^T W_{(m)}^* X)^{-1}X^TW_{(m)}^*\left(Xb^{(m)}+ z_{(m)}^* \right)$$ so if we're going this way you'll see the working response take the form $\eta^{(m)} + D^{-1}_{(m)}(y - \hat y^{(m)})$, but it's the same thing.

---

Let's confirm that this works by using it to perform a probit regression on the same simulated data as before (and this is not the canonical link, so we need this more general form of IRLS).

my_IRLS_general <- function(x, y, b.init, h, h.prime, tol=1e-8) {
  change <- Inf
  b.old <- b.init
  while(change > tol) {
    eta <- x %*% b.old  # linear predictor
    y.hat <- h(eta)
    h.prime_eta <- h.prime(eta)
    w_star <- h.prime_eta^2 / (y.hat * (1 - y.hat))
    z_star <- (y - y.hat) / h.prime_eta

    b.new <- b.old + lm(z_star ~ x - 1, weights = w_star)$coef  # WLS

    change <- sqrt(sum((b.new - b.old)^2))
    b.old <- b.new
  }
  b.new
}

# probit inverse link and derivative
h_probit <- function(x) pnorm(x, 0, 1)
h.prime_probit <- function(x) dnorm(x, 0, 1)

my_IRLS_general(x, y, rep(0,p), h_probit, h.prime_probit)
# x1         x2         x3         x4         x5 
# -0.6456508  1.2520266  0.5820856  0.4982678 -0.6768585 

glm(y~x-1, family=binomial(link="probit"))$coef
# x1         x2         x3         x4         x5 
# -0.6456490  1.2520241  0.5820835  0.4982663 -0.6768581 

and again the two agree.

---

Comments on convergence

Finally, a few quick comments on convergence (I'll keep this brief as this is getting really long and I'm no expert at optimization). Even though theoretically each $J_{(m)}$ is negative definite, bad initial conditions can still prevent this algorithm from converging. In the probit example above, changing the initial conditions to b.init=rep(1,p) results in this, and that doesn't even look like a suspicious initial condition. If you step through the IRLS procedure with that initialization and these simulated data, by the second time through the loop there are some $\hat y_i$ that round to exactly $1$ and so the weights become undefined. If we're using the canonical link in the algorithm I gave we won't ever be dividing by $\hat y_i (1 - \hat y_i)$ to get undefined weights, but if we've got a situation where some $\hat y_i$ are approaching $0$ or $1$, such as in the case of perfect separation, then we'll still get non-convergence as the gradient dies without us reaching anything.