Bagaimana model linear umum menggeneralisasi model linear umum?

Dari Wikipedia

General linear model (GLM) adalah model linear statistik. Ini dapat ditulis sebagai 1 mana adalah matriks dengan serangkaian pengukuran multivariat, adalah matriks yang mungkin merupakan matriks desain , adalah matriks yang berisi parameter yang biasanya diperkirakan dan adalah matriks yang mengandung kesalahan atau noise. Kesalahan biasanya diasumsikan mengikuti distribusi normal multivariat.
$Y = X B + U,$ $\mathbf{Y} = \mathbf{X}\mathbf{B} + \mathbf{U},$ $Y$ $X$ $B$ $U$

Kemudian dikatakan

Jika kesalahan tidak mengikuti distribusi normal multivariat, umum model linear dapat digunakan untuk bersantai asumsi tentang dan . $Y$ $U$

Saya bertanya-tanya bagaimana model linear umum mengendurkan asumsi tentang dan dalam model linear umum? $Y$ $U$

Perhatikan bahwa saya dapat memahami hubungan mereka yang lain dalam arah yang berlawanan:

Model linier umum dapat dipandang sebagai kasus model linier umum dengan tautan identitas.

Tetapi saya ragu ini akan membantu pertanyaan saya.

regression generalized-linear-model assumptions

— Tim
sumber

Pertimbangkan kasus di mana variabel respons Anda adalah serangkaian 'keberhasilan' dan 'kegagalan' (juga direpresentasikan sebagai 'ya' dan 'nos', detik dan detik, dll.). Jika ini benar, maka tidak mungkin istilah kesalahan Anda didistribusikan secara normal . Sebaliknya, istilah kesalahan Anda adalah Bernoulli , menurut definisi. Dengan demikian, salah satu asumsi yang disinggung adalah dilanggar. Asumsi lain seperti itu adalah homoskedastisitas, tetapi ini akan dilanggar juga, karena varians adalah fungsi dari rata-rata. Jadi kita dapat melihat bahwa GLM (OLS) tidak pantas untuk kasus ini. $1$ $0$

Perhatikan bahwa, untuk model regresi linier tipikal, apa yang Anda prediksi (yaitu, ) adalah , rata-rata distribusi normal bersyarat dari respons di tempat yang tepat di mana . Yang kita butuhkan dalam kasus ini adalah untuk memprediksi , probabilitas 'sukses' di tempat itu. Jadi kami menganggap distribusi respons kami sebagai Bernoulli, dan kami memperkirakan parameter yang mengontrol perilaku distribusi itu. Namun, ada satu komplikasi penting di sini. Secara khusus, akan ada beberapa nilai untuk bahwa, bersama dengan perkiraan Anda akan menghasilkan nilai prediksi (yaitu, $\hat y_i$ $\mu_i$ $X=x_i$ $\hat\pi_i$ $\bf X$ $\boldsymbol\beta$ $\hat y_i$ $\hat\pi_i$ ) yang akan menjadi atau . Tapi ini tidak mungkin, karena rentang adalah . Jadi kita perlu mengubah parameter sehingga dapat berkisar , seperti halnya sisi kanan GLiM Anda. Karenanya, Anda memerlukan fungsi tautan . $<0$ $>1$ $\pi$ $(0,~1)$ $\pi$ $(-\infty,~\infty)$

Pada titik ini, kami telah menetapkan distribusi respons (Bernoulli) dan fungsi tautan (mungkin transformasi logit ). Kami sudah memiliki bagian struktural dari model kami: . Jadi sekarang kita memiliki semua bagian model yang diperlukan. Ini sekarang adalah model linier umum, karena kami telah 'melonggarkan' asumsi tentang variabel respons dan kesalahan kami. $\bf X \boldsymbol \beta$

Untuk menjawab pertanyaan spesifik Anda secara lebih langsung, model linear umum melemaskan asumsi tentang dan dengan mengajukan distribusi respons (dalam keluarga eksponensial ) dan fungsi tautan yang memetakan parameter yang dipermasalahkan ke interval . $\bf Y$ $\bf U$ $(-\infty,~\infty)$

Untuk lebih lanjut tentang topik ini, mungkin membantu Anda untuk membaca jawaban saya untuk pertanyaan ini: Perbedaan antara logit dan probit model .

— gung - Pasang kembali Monica
sumber

(+1) Jawaban singkat dan mudah dimengerti.

— COOLSerdash

Terima kasih, gung! Dalam model linier umum, "kesalahan biasanya diasumsikan mengikuti distribusi normal multivariat." Apakah benar bahwa model linier umum tidak selalu parametrik dalam arti bahwa mereka tidak sepenuhnya menentukan bentuk distribusi Y yang diberikan X? Karena model linier umum selalu menentukan distribusi Y yang diberikan X menjadi distribusi keluarga eksponensial, apakah benar bahwa model linier umum mungkin bukan model linier umum?

— Tim

Tidak, model linier umum sepenuhnya ditentukan; selalu merupakan kasus khusus dari model linier umum.

— gung - Reinstate Monica

Apakah "kesalahan biasanya diasumsikan mengikuti distribusi normal multivariat" di WIkipedia untuk model linier umum berarti bahwa kesalahan mungkin tidak terdistribusi secara normal?

— Tim