Regresi Logistik - Istilah Kesalahan dan Distribusi

Tentang apakah ada istilah kesalahan dalam regresi logistik (dan distribusi yang diasumsikan), saya telah membaca di berbagai tempat bahwa:

1. tidak ada istilah kesalahan
2. istilah kesalahan memiliki distribusi binomial (sesuai dengan distribusi variabel respons)
3. istilah kesalahan memiliki distribusi logistik

Bisakah seseorang menjelaskan?

Dalam pengamatan regresi linier diasumsikan mengikuti distribusi Gaussian dengan parameter rata-rata bersyarat pada nilai-nilai prediktor. Jika Anda mengurangi rata-rata dari pengamatan Anda mendapatkan kesalahan : distribusi Gaussian dengan rata-rata nol, & independen dari nilai prediktor — itu adalah kesalahan pada set nilai prediktor mana pun mengikuti distribusi yang sama.

Dalam pengamatan regresi logistik, diasumsikan mengikuti distribusi Bernoulli ^† dengan parameter rata-rata (probabilitas) yang tergantung pada nilai prediktor. Jadi untuk nilai prediktor tertentu yang menentukan rata-rata π hanya ada dua kemungkinan kesalahan: 1 - π terjadi dengan probabilitas π , & 0 - π terjadi dengan probabilitas 1 - π . Untuk nilai-nilai prediktor lain kesalahan akan 1 - π ′ terjadi dengan probabilitas π $y\in\{0,1\}$$\pi$$1-\pi$$\pi$$0-\pi$$1-\pi$$1-\pi'$$\pi'$, & terjadi dengan probabilitas 1 - π ′ . Jadi tidak ada distribusi kesalahan umum yang independen dari nilai-nilai prediktor, itulah sebabnya orang mengatakan "tidak ada istilah kesalahan" (1).$0-\pi'$$1-\pi'$

"Istilah kesalahan memiliki distribusi binomial" (2) hanya kecerobohan— "model Gaussian memiliki kesalahan Gaussian, model ergo binomial memiliki kesalahan binomial". (Atau, seperti yang ditunjukkan @whuber, ini bisa berarti "perbedaan antara pengamatan dan harapannya memiliki distribusi binomial yang diterjemahkan oleh harapan".)

"Istilah kesalahan memiliki distribusi logistik" (3) muncul dari derivasi regresi logistik dari model di mana Anda mengamati apakah variabel laten dengan kesalahan mengikuti distribusi logistik melebihi ambang batas. Jadi itu bukan kesalahan yang sama yang didefinisikan di atas. (Tampaknya aneh untuk mengatakan IMO di luar konteks itu, atau tanpa referensi eksplisit ke variabel laten.)

† Jika Anda memiliki observasi dengan nilai prediktor yang sama, memberikan probabilitas yang sama π untuk masing-masing, maka jumlah mereka ∑ $k$$\pi$$\sum y$ mengikuti distribusi binomial dengan probabilitas dan tidak ada. cobaan k . Mempertimbangkan ∑ y - k π karena kesalahan mengarah ke kesimpulan yang sama.$\pi$$k$$\sum y -k\pi$

Ini sudah dibahas sebelumnya. Model yang dibatasi memiliki nilai prediksi dalam tidak mungkin memiliki istilah kesalahan aditif yang akan membuat prediksi melampaui [ 0 , 1 ] . Pikirkan contoh paling sederhana dari model logistik biner - model yang hanya mengandung intersep. Ini setara dengan masalah satu sampel Bernoulli, sering disebut (dalam kasus sederhana ini) masalah binomial karena (1) semua informasi terdapat dalam ukuran sampel dan jumlah peristiwa atau (2) distribusi Bernoulli adalah kasus khusus dari distribusi binomial dengan n = $[0,1]$$[0,1]$$n=1$. Data mentah dalam situasi ini adalah serangkaian nilai-nilai biner, dan masing-masing memiliki distribusi Bernoulli dengan parameter yang tidak diketahui mewakili probabilitas acara. Tidak ada istilah kesalahan dalam distribusi Bernoulli, hanya ada probabilitas yang tidak diketahui. Model logistik adalah model probabilitas.$\theta$

Bagi saya penyatuan logistik, linier, regresi poisson dll ... selalu dalam hal spesifikasi mean dan varians dalam kerangka Model Generalized Linear. Kami mulai dengan menentukan distribusi probabilitas untuk data kami, normal untuk data kontinu, Bernoulli untuk dikotomis, Poisson untuk jumlah, dll ... Lalu kami menentukan fungsi tautan yang menggambarkan bagaimana rata-rata terkait dengan prediktor linier:

$g(\mu_i) = \alpha + x_i^T\beta$

$g(\mu_i) = \mu_i$

$g(\mu_i) = \log(\frac{\mu_i}{1-\mu_i})$

$g(\mu_i) = \log(\mu_i)$

Satu-satunya hal yang dapat dipertimbangkan seseorang dalam hal penulisan istilah kesalahan adalah dengan menyatakan:

$y_i = g^{-1}(\alpha+x_i^T\beta) + e_i$ where $E(e_i) = 0$ and $Var(e_i) = \sigma^2(\mu_i)$. For example, for logistic regression, $\sigma^2(\mu_i) = \mu_i(1-\mu_i) = g^{-1}(\alpha+x_i^T\beta)(1-g^{-1}(\alpha+x_i^T\beta))$. But, you cannot explicitly state that $e_i$ has a Bernoulli distribution as mentioned above.

Note, however, that basic Generalized Linear Models only assume a structure for the mean and variance of the distribution. It can be shown that the estimating equations and the Hessian matrix only depend on the mean and variance you assume in your model. So you don't necessarily need to be concerned with the distribution of $e_i$ for this model because the higher order moments don't play a role in the estimation of the model parameters.

1. No errors exist. We are modeling the mean! The mean is just a true number.
2. This doesn't make sense to me.
3. Think the response variable as a latent variable. If you assume the error term is normally distributed, then the model becomes a probit model. If you assume the distribution of the error term is logistic, then the model is logistic regression.