Bias variabel yang dihilangkan dalam regresi logistik vs bias variabel yang dihilangkan dalam regresi kuadrat terkecil biasa

Saya punya pertanyaan tentang bias variabel yang dihilangkan dalam regresi logistik dan linier.

Katakanlah saya menghilangkan beberapa variabel dari model regresi linier. Berpura-pura bahwa variabel-variabel yang dihilangkan tersebut tidak berkorelasi dengan variabel yang saya sertakan dalam model saya. Variabel-variabel yang dihilangkan tidak bias koefisien dalam model saya.

Tetapi dalam regresi logistik, saya baru tahu bahwa ini tidak benar. Variabel yang dihilangkan akan bias koefisien pada variabel yang disertakan bahkan jika variabel yang dihilangkan tidak berkorelasi dengan variabel yang disertakan. Saya menemukan makalah tentang topik ini, tetapi saya tidak bisa membuat kepala atau ekornya.

Inilah kertas dan beberapa slide powerpoint.

Biasnya, tampaknya, selalu menuju nol. Adakah yang bisa menjelaskan cara kerjanya?

— ConfusedEconometricsUndergrad
sumber

Apakah Anda terbiasa dengan bagaimana model regresi logistik muncul dari model regresi linier "laten-variabel" yang mendasarinya?

— Alecos Papadopoulos

@AlecosPapadopoulos I for one am not. Apa hidangannya?

— Alexis

Ada artikel lain yang membahas hal ini, tetapi yang Anda tautkan adalah yang termudah yang saya tahu. Jadi saya tidak berpikir saya bisa memperbaikinya.

— Maarten Buis

Bapak Papadopoulos yang terhormat: Saya sudah membaca tentang ide variabel-laten. Kenapa kamu bertanya?

— ConfusedEconometricsUndergrad

@ Alexis Lihat misalnya posting ini, stats.stackexchange.com/questions/80611/… , dan artikel wikipedia, en.wikipedia.org/wiki/… . Pendekatan ini juga mengklarifikasi bahwa asumsi yang kita buat pada istilah kesalahan dari model yang mendasari yang menentukan model apa yang akan kita peroleh pada tingkat Probabilitas. Untuk contoh lain, jika kita mengasumsikan bahwa kesalahan yang mendasari mengikuti seragam, kita memperoleh Model Probabilitas Linier, lihat, stats.stackexchange.com/questions/81789

— Alecos Papadopoulos

Kasus "bias redaman" dapat lebih jelas disajikan jika kita memeriksa model "probit" - tetapi hasilnya terbawa ke regresi logistik juga.

Di bawah model Probabilitas Bersyarat (Logistik (logit), "probit", dan "Probabilitas Linear") kita dapat mendalilkan model regresi linier laten (tidak dapat diamati):

y^{*} = X β + u

$y^* = X\beta + u$

di mana adalah variabel yang tidak dapat diobservasi secara terus-menerus (dan adalah matriks regresi). Istilah kesalahan diasumsikan independen dari regressor, dan mengikuti distribusi yang memiliki simetris kerapatan sekitar nol , dan dalam kasus kami, distribusi normal standar . $y^*$ $X$ $F_U(u)= \Phi(u)$

Kami berasumsi bahwa apa yang kami amati, yaitu variabel biner , adalah fungsi Indikator dari tidak dapat diobservasi : $y$ $y^*$

y = 1 if y^{*} > 0, y = 0 if y^{*} \leq 0

$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$

Kemudian kita bertanya "apa adalah probabilitas bahwa akan mengambil nilai diberikan regressors?" (Yaitu kita melihat probabilitas bersyarat). Ini adalah $y$ $1$

P (y = 1 ∣ X) = P (y^{*} > 0 ∣ X) = P (X β + u > 0 ∣ X) = P (u > - X β ∣ X) = 1 - Φ (- Χ β) = Φ (X β)

$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$

kesetaraan terakhir karena properti "reflektif" dari fungsi distribusi kumulatif standar, yang berasal dari simetri fungsi densitas sekitar nol. Perhatikan bahwa meskipun kita mengasumsikan bahwa tidak bergantung pada , pengkondisian pada diperlukan untuk memperlakukan kuantitas sebagai non-acak. $u$ $X$ $X$ $X\beta$

Jika kita mengasumsikan bahwa , maka kita memperoleh model teoretis $X\beta = b_0+b_1X_1 + b_2X_2$

\begin{matrix} (1) & P (y = 1 ∣ X) = Φ (b_{0} + b_{1} X_{1} + b_{2} X_{2}) \end{matrix}

$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$

Mari be independen dan keliru dikeluarkan dari spesifikasi regresi yang mendasari. Jadi kami tentukan $X_2$ $X_1$

Asumsikan lebih lanjut bahwa juga merupakan variabel acak normal

y^{*} = b_{0} + b_{1} X_{1} + ϵ

$y^* = b_0+b_1X_1 + \epsilon$

X_{2}

$X_2$

. Tapi ini artinya

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_2 \sim N(\mu_2,\sigma_2^2)$

ϵ = u + b_{2} X_{2} \sim N (b_{2} μ_{2}, 1 + b_{2}^{2} σ_{2}^{2})

$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$

karena penutupan-penambahan-tambahan dari distribusi normal (dan asumsi independensi). Menerapkan logika yang sama seperti sebelumnya, di sini kita miliki

P (y = 1 ∣ X_{1}) = P (y^{*} > 0 ∣ X_{1}) = P (b_{0} + b_{1} X_{1} + ϵ > 0 ∣ X_{1}) = P (ϵ > - b_{0} - b_{1} X_{1} ∣ X_{1})

$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$

Standardisasi variabel yang kita miliki $\epsilon$

P (y = 1 ∣ X_{1}) = 1 - P (\frac{ϵ - b_{2} μ_{2}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} \leq - \frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} - \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1} ∣ X_{1})

$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$

\begin{matrix} (2) & \Rightarrow P (y = 1 ∣ X_{1}) = Φ (\frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} + \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1}) \end{matrix}

$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$

$(1)$ $(2)$ .

The above theoretical expression, tells us where our maximum likelihood estimator of $b_1$ is going to converge, since it remains a consistent estimator, in the sense that it will converge to the theoretical quantity that really exists in the model (and of course, not in the sense that it will find the "truth" in any case):

{\hat{b}}_{1} \overset{p}{\to} \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} ⟹ | {\hat{b}}_{1} | < | b_{1} |

$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$

which is the "bias towards zero" result.

We used the probit model, and not the logit (logistic regression), because only under normality can we derive the distribution of $\epsilon$ . The logistic distribution is not closed under addition. This means that if we omit a relevant variable in logistic regression, we also create distributional misspecification, because the error term (that now includes the omitted variable) no longer follows a logistic distribution. But this does not change the bias result (see footnote 6 in the paper linked to by the OP).

— Alecos Papadopoulos
sumber