Bias penduga kemungkinan maksimum untuk regresi logistik

Saya ingin memahami beberapa fakta tentang estimator kemungkinan maksimum (MLE) untuk regresi logistik.

Apakah benar bahwa, secara umum, MLE untuk regresi logistik bias? Saya akan mengatakan "ya". Saya tahu, misalnya, bahwa dimensi sampel terkait dengan bias asimptotik MLEs.

Apakah Anda tahu ada contoh dasar dari fenomena ini?
Jika MLE bias, apakah benar bahwa matriks kovarians MLE adalah kebalikan dari Hessian dari fungsi kemungkinan maksimum?

sunting : Saya sudah sering bertemu formula ini dan tanpa bukti; tampaknya pilihan yang cukup sewenang-wenang bagi saya.

— Avitus
sumber

Pertimbangkan model regresi logistik biner sederhana, dengan variabel dependen biner dan hanya dan konstanta biner yang konstan . mana adalah cdf logistik, . $T$

Pr (Y_{saya} = 1 ∣ T_{saya} = 1) = Λ (α + β T_{saya})

$\Pr(Y_i=1\mid T_i=1) = \Lambda (\alpha + \beta T_i)$

Λ

$\Lambda$

Λ (u) = {[1 + \exp {- u}]}^{- 1}

$\Lambda(u) = \left[1+\exp\{-u\}\right]^{-1}$

Dalam formulir logit, kita memiliki

dalam (\frac{Pr (Y_{saya} = 1 ∣ T_{saya} = 1)}{1 - Pr (Y_{saya} = 1 ∣ T_{saya} = 1)}) = α + β T_{saya}

$\ln \left(\frac{\Pr(Y_i=1\mid T_i=1)}{1-\Pr(Y_i=1\mid T_i=1)}\right) = \alpha + \beta T_i$

Anda memiliki sampel ukuran . Mendenotasikan jumlah observasi di mana dan mereka di mana , dan . Pertimbangkan perkiraan probabilitas kondisional berikut: $n$ $n_1$ $T_i=1$ $n_0$ $T_i=0$ $n_1+n_0=n$

\hat{Pr} (Y = 1 ∣ T = 1) \equiv {\hat{P}}_{1 | 1} = \frac{1}{n_{1}} \sum_{T_{saya} = 1} y_{saya}

$\hat \Pr(Y=1\mid T=1)\equiv \hat P_{1|1} = \frac 1{n_1}\sum_{T_i=1}y_i$

\hat{Pr} (Y = 1 ∣ T = 0) \equiv {\hat{P}}_{1 | 0} = \frac{1}{n_{0}} \sum_{T_{saya} = 0} y_{saya}

$\hat \Pr(Y=1\mid T=0)\equiv \hat P_{1|0} = \frac 1{n_0}\sum_{T_i=0}y_i$

Maka model yang sangat mendasar ini menyediakan solusi bentuk tertutup untuk penaksir ML:

\hat{α} = dalam (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}}), \hat{β} = dalam (\frac{{\hat{P}}_{1 | 1}}{1 - {\hat{P}}_{1 | 1}}) - dalam (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})

$\hat \alpha = \ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right),\qquad \hat \beta = \ln\left(\frac{\hat P_{1|1}}{1-\hat P_{1|1}}\right)-\ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)$

BIAS

Meskipun dan adalah penaksir yang tidak bias dari probabilitas yang sesuai, MLEs bias, karena fungsi logaritmik non-linier menghalangi - membayangkan apa yang terjadi pada model yang lebih rumit , dengan tingkat non-linearitas yang lebih tinggi. $\hat P_{1|1}$ $\hat P_{1|0}$

Tapi tanpa gejala, bias menghilang karena estimasi probabilitas konsisten. Memasukkan langsung operator di dalam nilai yang diharapkan dan logaritma, kami memiliki $\lim$

lim_{n \to \infty} E [\hat{α}] = E [dalam (lim_{n \to \infty} \frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})] = E [dalam (\frac{P_{1 | 0}}{1 - P_{1 | 0}})] = α

$\lim_{n\rightarrow \infty}E[\hat \alpha] = E\left[\ln\left(\lim_{n\rightarrow \infty}\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)\right] = E\left[\ln\left(\frac{P_{1|0}}{1-P_{1|0}}\right)\right] =\alpha$

dan juga untuk . $\beta$

MATRIKS VARIANCE-COVARIANCE MLE
Dalam kasus sederhana di atas yang memberikan ekspresi bentuk tertutup untuk estimator, seseorang dapat, setidaknya pada prinsipnya, melanjutkan dan mendapatkan distribusi sampel hingga yang tepat dan kemudian menghitung sampel sampel varians-kovarians matriks yang tepat . Tetapi secara umum, MLE tidak memiliki solusi bentuk tertutup. Kemudian kami menggunakan estimasi yang konsisten dari matriks varians-kovarians asimptotik, yang memang (negatif dari) kebalikan dari Goni dari fungsi log-likelihood sampel, dievaluasi di MLE. Dan tidak ada "pilihan sewenang-wenang" di sini sama sekali, tetapi ini dihasilkan dari teori asimptotik dan sifat asimptotik dari MLE (konsistensi dan normalitas asimptotik), yang memberi tahu kita bahwa, untuk , $\theta_0 = (\alpha, \beta)$

\sqrt{n} (\hat{θ} - θ_{0}) \to_{d} N (0, - (E [H])^{- 1})

${\sqrt n}(\hat \theta-\theta_0)\rightarrow_d N\left(0, -(E[H])^{-1}\right)$

dimana adalah Hessian. Kira-kira dan untuk sampel terbatas (besar), ini membawa kita ke $H$

Var (\hat{θ}) \approx - \frac{1}{n} (E [H])^{- 1} \approx - \frac{1}{n} {(\frac{1}{n} \hat{H})}^{- 1} = - {\hat{H}}^{- 1}

$\operatorname{Var}(\hat \theta) \approx -\frac 1n(E[H])^{-1}\approx -\frac 1n\left(\frac 1n\hat H\right)^{-1}=-\hat H^{-1}$

— Alecos Papadopoulos
sumber