Menghitung interval kepercayaan untuk regresi logistik

Saya menggunakan regresi logistik binomial untuk mengidentifikasi apakah paparan has_xatau has_ydampak kemungkinan bahwa pengguna akan mengklik sesuatu. Model saya adalah sebagai berikut:

fit = glm(formula = has_clicked ~ has_x + has_y, 
          data=df, 
          family = binomial())

Ini output dari model saya:

Call:
glm(formula = has_clicked ~ has_x + has_y, 
    family = binomial(), data = active_domains)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9869  -0.9719  -0.9500   1.3979   1.4233  

Coefficients:
                      Estimate Std. Error z value Pr(>|z|)    
(Intercept)          -0.504737   0.008847 -57.050  < 2e-16 ***
has_xTRUE -0.056986   0.010201  -5.586 2.32e-08 ***
has_yTRUE  0.038579   0.010202   3.781 0.000156 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 217119  on 164182  degrees of freedom
Residual deviance: 217074  on 164180  degrees of freedom
AIC: 217080

Number of Fisher Scoring iterations: 4

Karena masing-masing koefisien signifikan, dengan menggunakan model ini saya dapat memberi tahu apa nilai kombinasi ini menggunakan pendekatan berikut:

predict(fit, data.frame(has_x = T, has_y=T), type = "response")

Saya tidak mengerti bagaimana saya bisa melaporkan Std. Kesalahan prediksi.

Apakah saya hanya perlu menggunakan ? Atau apakah saya perlu mengonversi menggunakan pendekatan yang dijelaskan di sini ? $1.96*SE$ $SE$
Jika saya ingin memahami kesalahan standar untuk kedua variabel, bagaimana saya mempertimbangkannya?

Tidak seperti pertanyaan ini , saya tertarik untuk memahami apa batas kesalahan atas dan bawah dalam persentase. Misalnya, prediksi saya menunjukkan nilai 37% untuk True,Truedapatkah saya menghitung bahwa ini untuk ? (0,3% dipilih untuk menggambarkan poin saya) $+/- 0.3%$ $95\% CI$

— celenius
sumber

Gandakan: stats.stackexchange.com/questions/5304/...

— b halvorsen

Kemungkinan duplikat Mengapa ada perbedaan antara menghitung secara manual interval kepercayaan 95% regresi logistik, dan menggunakan fungsi confint () dalam R?

— kjetil b halvorsen

@ kjetilbhalvorsen apakah Anda yakin ini duplikat karena OP tampaknya menginginkan interval prediksi tetapi tampaknya bekerja pada skala OR daripada skala log yang mungkin menjadi akar masalah?

— mdewey

Jika Anda ingin mengevaluasi seberapa bagus regresi logistik, biasanya menggunakan ukuran yang berbeda dari prediksi + SE. Salah satu ukuran evaluasi populer adalah ROC-Curve dengan masing-masing AUC

— adibender

Mungkinkah ini membantu? stackoverflow.com/questions/47414842/…

— Xavier Bourret Sicotte

Jawaban:

Pertanyaan Anda mungkin berasal dari fakta bahwa Anda berurusan dengan Odds Ratios and Probabilities yang membingungkan pada awalnya. Karena model logistik adalah transformasi non linear dari menghitung interval kepercayaan tidak sesederhana. $\beta^Tx$

Latar Belakang

Ingat itu untuk model regresi logistik

Probabilitas dari : $(Y = 1)$ $p = \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}$
Odds dari : $(Y = 1)$ $\left( \frac{p}{1-p}\right) = e^{\alpha + \beta_1x_1 + \beta_2 x_2}$
Log Odds dari : $(Y = 1)$ $\log \left( \frac{p}{1-p}\right) = \alpha + \beta_1x_1 + \beta_2 x_2$

Pertimbangkan kasus di mana Anda memiliki kenaikan satu unit dalam variabel , yaitu , maka peluang baru adalah $x_1$ $x_1 + 1$

Odds (Y = 1) = e^{α + β_{1} (x_{1} + 1) + β_{2} x_{2}} = e^{α + β_{1} x_{1} + β_{1} + β_{2} x_{2}}

$\text{Odds}(Y = 1) = e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} = e^{\alpha + \beta_1 x_1 + \beta_1 + \beta_2x_2 }$

Odds Ratio (OR) oleh karena itu

\frac{Odds (x_{1} + 1)}{Odds (x_{1})} = \frac{e^{α + β_{1} (x_{1} + 1) + β_{2} x_{2}}}{e^{α + β_{1} x_{1} + β_{2} x_{2}}} = e^{β_{1}}

$\frac{\text{Odds}(x_1 + 1)}{\text{Odds}(x_1)} = \frac{e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} }{e^{\alpha + \beta_1 x_1 + \beta_2x_2}} = e^{\beta_1}$

Log Odds Ratio = $\beta_1$
Risiko relatif atau (rasio probabilitas) = $\frac{ \frac{e^{\alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}}{ \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}}$

Menafsirkan koefisien

$\beta_j$

$x_j$ $\beta_j$
$x_j$ $e^{\beta_j}$
$x_j$ $k$ $k + \Delta$ $e^{\beta_j \Delta}$
$x_j$

$\beta_j$

$1.96∗SE$

$\beta_j$

β_{j} \pm z^{*} S E (β_{j})

$\beta_j \pm z^* SE(\beta_j)$

e^{β_{j} \pm z^{*} S E (β_{j})}

$e^{\beta_j \pm z^* SE(\beta_j)}$

yang merupakan interval kepercayaan pada rasio odds. Perhatikan bahwa interval ini hanya untuk parameter tunggal.

Jika saya ingin memahami kesalahan standar untuk kedua variabel, bagaimana saya mempertimbangkannya?

Jika Anda memasukkan beberapa parameter, Anda dapat menggunakan prosedur Bonferroni, jika tidak, untuk semua parameter Anda dapat menggunakan interval kepercayaan untuk estimasi probabilitas

Prosedur Bonferroni untuk beberapa parameter

$g$ $1 - \alpha$

β_{g} \pm z_{(1 - \frac{α}{2 g})} S E (β_{g})

$\beta_g \pm z_{(1 - \frac{\alpha}{2g})}SE(\beta_g)$

Interval kepercayaan untuk estimasi probabilitas

$p$ $Pr(p_{L} \leq p \leq p_{U}) = .95$

Satu pendekatan yang disebut transformasi titik akhir melakukan hal berikut:

$x^T\beta$
$F(x^T\beta)$

$Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

$\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

$x^T\beta$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

The advantage of this method is that the bounds cannot be outside the range $(0,1)$

There are several other approaches as well, using the delta method, bootstrapping etc.. which each have their own assumptions, advantages and limits.

Sources and info

My favorite book on this topic is "Applied Linear Statistical Models" by Kutner, Neter, Li, Chapter 14

Otherwise here are a few online sources:

— Xavier Bourret Sicotte
sumber

Much of this is about CI for the coefficients which is a fine thing for the OP to know about but are we sure that is what he needs? You later section seems to me more relevant but perhaps the distinctions may be missed if read too quickly?

— mdewey

Yes you are probably right - but understanding odds, log odds and probabilities for log regression is something I struggled with in the past - I hope this post summarises the topic well enough to such that it might help someone in the future. Perhaps I could answer the question more explicitly by providing a CI but we would need the covariance matrix

— Xavier Bourret Sicotte

To get the 95% confidence interval of the prediction you can calculate on the logit scale and then convert those back to the probability scale 0-1. Here is an example using the titanic dataset.

library(titanic)
data("titanic_train")

titanic_train$Pclass = factor(titanic_train$Pclass, levels = c(1,2,3), labels = c('First','Second','Third'))

fit = glm(Survived ~ Sex + Pclass, data=titanic_train, family = binomial())

inverse_logit = function(x){
  exp(x)/(1+exp(x))
}

predicted = predict(fit, data.frame(Sex='male', Pclass='First'), type='link', se.fit=TRUE)

se_high = inverse_logit(predicted$fit + (predicted$se.fit*1.96))
se_low = inverse_logit(predicted$fit - (predicted$se.fit*1.96))
expected = inverse_logit(predicted$fit)

The mean and low/high 95% CI.

> expected
        1 
0.4146556 
> se_high
        1 
0.4960988 
> se_low
        1 
0.3376243

And the output from just using type='response', which only gives the mean

predict(fit, data.frame(Sex='male', Pclass='First'), type='response')
        1 
0.4146556

— Shawn
sumber

predict(fit, data.frame(Sex='male', Pclass='First'), type='response', se.fit=TRUE) will work.

— Tony416

Menghitung interval kepercayaan untuk regresi logistik

Latar Belakang

Menafsirkan koefisien

βjβj\beta_j

Prosedur Bonferroni untuk beberapa parameter

Interval kepercayaan untuk estimasi probabilitas

Sources and info

$\beta_j$