Mengapa regresi linier memiliki asumsi pada residual tetapi model linier umum memiliki asumsi pada respon?

14

Mengapa regresi linier dan Model Umum memiliki asumsi yang tidak konsisten?

Dalam regresi linier, kita asumsikan residual berasal dari Gaussian
Dalam regresi lain (regresi logistik, regresi racun), kami menganggap respons datang dari beberapa distribusi (binomial, poission dll).

Mengapa kadang-kadang berasumsi sisa dan waktu lain menganggap pada respons? Apakah karena kita ingin mendapatkan properti yang berbeda?

EDIT: Saya pikir menunjukkan mark999 dua bentuk sama. Namun, saya punya satu keraguan tambahan pada iid:

Pertanyaan saya yang lain, Apakah ada asumsi awal tentang regresi logistik? menunjukkan model linier umum tidak memiliki asumsi iid (independen tetapi tidak identik)

Apakah benar bahwa untuk regresi linier, jika kita mengajukan asumsi pada residual , kita akan memiliki iid, tetapi jika kita mengajukan asumsi pada respons , kita akan memiliki sampel yang independen tetapi tidak identik (Gaussian berbeda dengan berbeda )? $\mu$

— Haitao Du
sumber

Lihat juga stats.stackexchange.com/questions/295340/…

— kjetil b halvorsen

12

Regresi linier sederhana yang memiliki kesalahan Gaussian adalah atribut yang sangat bagus yang tidak digeneralisasi ke model linear umum.

Dalam model linier umum, respon mengikuti beberapa distribusi yang diberikan diberikan rata-rata . Regresi linier mengikuti pola ini; jika kita punya

$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$

$\epsilon_i \sim N(0, \sigma)$

maka kita juga punya

$y_i \sim N(\beta_0 + \beta_1 x_i, \sigma)$

$\epsilon_i$ $x$

$y_i$

$y_i = 0 + 2 \times x_i + \epsilon_i$

$\epsilon_i \sim N(0, 0.2)$ $x_i \sim \text{Bernoulli}(p = 0.5)$

$y_i$

Berikut beberapa Rkode untuk diilustrasikan.

x <- rbinom(1000, size = 1, prob = 0.5)
y <- 2 * x + rnorm(1000, sd = 0.2)
fit <- lm(y ~ x)
resids <- residuals(fit)
par(mfrow = c(1,2))
hist(y, main = 'Distribution of Responses')
hist(resids, main = 'Distribution of Residuals')

— Cliff AB
sumber

y_{i} = 1 + 2 \times x_{i} + ϵ_{i}

$y_i = 1 + 2 \times x_i + \epsilon_i$

3

@ hxd1011: ya, ini adalah perbedaan antara distribusi marginal (jelas tidak normal) dan distribusi kondisional yang diberikan x (kami tahu itu normal sejak kami disimulasikan!). Tidak memikirkan perbedaan antara distribusi bersyarat dan marjinal adalah kesalahan yang sangat umum.

— Cliff AB

14

$i = 1, \ldots, n$

Y_{i} = β_{0} + β_{1} X_{i 1} + \dots + β_{k} X_{i k} + ϵ_{i},

$Y_i = \beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik} + \epsilon_i,$

ϵ_{i}

$\epsilon_i$

σ^{2}

$\sigma^2$

X_{i 1}, \dots, X_{i k}

$X_{i1}, \ldots, X_{ik}$

Y_{i}

$Y_i$

β_{0} + β_{1} X_{i 1} + \dots + β_{k} X_{i k}

$\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$

σ^{2}

$\sigma^2$

$X_{i1}, \ldots, X_{ik}$ $\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$

Model regresi linier berganda yang biasa dengan kesalahan normal adalah model linier umum dengan respons normal dan hubungan identitas.

— mark999
sumber