Regresi linier: * Mengapa * Anda dapat mempartisi jumlah kuadrat?

9

Posting ini mengacu pada model regresi linier bivariat, $Y_i = \beta_0 + \beta_1x_i$ . Saya selalu mengambil partisi jumlah total kuadrat (SSTO) menjadi jumlah kuadrat untuk kesalahan (SSE) dan jumlah kuadrat untuk model (SSR) pada iman, tetapi begitu saya mulai benar-benar memikirkannya, saya tidak mengerti mengapa ini bekerja ...

Bagian I do memahami:

$y_i$ : Nilai yang diamati dari y

$\bar{y}$ : Mean dari semua yang diamati $y_i$ s

$\hat{y}_i$ : dipasang / Nilai prediksi y untuk x pengamatan yang diberikan ini

$y_i - \hat{y}_i$ : Residual / error (jika kuadrat dan menambahkan untuk semua pengamatan ini SSE)

$\hat{y}_i - \bar{y}$ : Berapa banyak model dipasang nilai berbeda dari mean (jika kuadrat dan menambahkan untuk semua pengamatan ini SSR)

$y_i - \bar{y}$ : Berapa banyak nilai yang diamati berbeda dari rata-rata (jika suared dan dijumlahkan untuk semua pengamatan, ini adalah SSTO).

Aku bisa mengerti mengapa, untuk pengamatan tunggal, tanpa mengkuadratkan apa-apa, . Dan saya bisa mengerti mengapa, jika Anda ingin menambahkan semua pengamatan, Anda harus menguadratkannya atau mereka akan menambahkan hingga 0. $(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$

Bagian saya tidak mengerti adalah mengapa (. Misalnya SSTO = SSR + SSE). Tampaknya jika Anda memiliki situasi di mana , maka , bukan $(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$ $A = B + C$ $A^2 = B^2 + 2BC + C^2$ . Mengapa bukan itu yang terjadi di sini? $A^2 = B^2 + C^2$

regression sums-of-squares orthogonal

— bluemouse
sumber

5

Anda meninggalkan penjumlahan di paragraf terakhir Anda. SST = SSR + SSE adalah jumlah di atas

, tetapi kesetaraan Anda yang Anda tulis segera sebelum itu tidak benar tanpa tanda penjumlahan di sana.

i

$i$

— Glen_b -Reinstate Monica

1

Dalam paragraf terakhir Anda, Anda ingin (yaitu SSTO = SSR + SSE) tidak (mis. SSTO = SSR + SSE). "eg" adalah singkatan untuk frasa Latin " exempli gratia ," atau "misalnya" dalam bahasa Inggris. "ie" adalah singkatan untuk " id est " dan dapat dibaca dalam bahasa Inggris sebagai "itu."

— Matthew Gunn

9

Tampaknya jika Anda memiliki situasi di mana , maka , bukan . Mengapa bukan itu yang terjadi di sini? $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

Secara konseptual, idenya adalah bahwa karena dan adalah ortogonal (yaitu tegak lurus). $BC = 0$ $B$ $C$

Dalam konteks regresi linier sini, residual adalah orthogonal ke direndahkan perkiraan . Perkiraan dari regresi linier menciptakan dekomposisi ortogonal dalam arti yang sama dengan adalah dekomposisi ortogonal. $\epsilon_i = y_i - \hat{y}_i$ $\hat{y}_i - \bar{y}$ $\mathbf{y}$ $(3,4) = (3,0) + (0,4)$

Versi Aljabar Linier:

Membiarkan:

z = [\begin{matrix} y_{1} - \bar{y} \\ y_{2} - \bar{y} \\ \dots \\ y_{n} - \bar{y} \end{matrix}] \hat{z} = [\begin{matrix} {\hat{y}}_{1} - \bar{y} \\ {\hat{y}}_{2} - \bar{y} \\ \dots \\ {\hat{y}}_{n} - \bar{y} \end{matrix}] ϵ = [\begin{matrix} y_{1} - {\hat{y}}_{1} \\ y_{2} - {\hat{y}}_{2} \\ \dots \\ y_{n} - {\hat{y}}_{n} \end{matrix}] = z - \hat{z}

$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$

Regresi linier (dengan konstanta disertakan) menguraikan ke dalam penjumlahan dua vektor: ramalan dan residu $\mathbf{z}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$

z = \hat{z} + ϵ

$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$

Biarkan menunjukkan produk titik . (Lebih umum, dapat menjadi produk dalam .) $\langle .,. \rangle$ $\langle X,Y \rangle$ $E[XY]$

\begin{aligned} ⟨ z, z ⟩ & = ⟨ \hat{z} + ϵ, \hat{z} + ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + 2 ⟨ \hat{z}, ϵ ⟩ + ⟨ ϵ, ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + ⟨ ϵ, ϵ ⟩ \end{aligned}

$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$

Di mana baris terakhir mengikuti dari fakta bahwa (yaitu dan adalah ortogonal). Anda dapat membuktikan dan bersifat ortogonal berdasarkan pada bagaimana regresi kuadrat terkecil dikonstruksi . $\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$

$\hat{\mathbf{z}}$ adalah proyeksi linear dari ke subruang yang ditentukan oleh rentang linier dari regresi , , dll. residual adalah ortogonal untuk seluruh subruang karenanya (yang terletak di rentang , , dll ...) adalah ortogonal ke . $\mathbf{z}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$

Perhatikan bahwa ketika saya mendefinisikan sebagai produk titik, hanyalah cara penulisan lain (yaitu SSTO = SSR + SSE) $\langle .,.\rangle$ $\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$ $\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$

— Matthew Gunn
sumber

8

Seluruh poin menunjukkan bahwa vektor-vektor tertentu bersifat ortogonal dan kemudian menggunakan teorema Pythagoras.

Mari kita pertimbangkan regresi linier multivariat . Kita tahu bahwa penaksir OLS adalah . Sekarang pertimbangkan estimasi $Y = X\beta + \epsilon$ $\hat{\beta} = (X^tX)^{-1}X^tY$

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ (Matriks H juga disebut matriks "topi")

di mana adalah matriks proyeksi ortogonal dari Y ke . Sekarang kita punya $H$ $S(X)$

$Y - \hat{Y} = Y - HY = (I - H)Y$

di mana adalah matriks proyeksi ke komplemen ortogonal dari yaitu . Dengan demikian kita tahu bahwa dan adalah ortogonal. $(I-H)$ $S(X)$ $S^{\bot}(X)$ $Y-\hat{Y}$ $\hat{Y}$

Sekarang pertimbangkan submodel $Y = X_0\beta_0 + \epsilon$

di mana dan juga kami memiliki penaksir OLS dan taksir dan dengan matriks proyeksi ke . Demikian pula kita memiliki dan yang ortogonal. Dan sekarang $X = [X_0 | X_1 ]$ $\hat{\beta_0}$ $\hat{Y_0}$ $H_0$ $S(X_0)$ $Y - \hat{Y_0}$ $\hat{Y_0}$

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

di mana lagi adalah matriks proyeksi ortogonal pada komplemen yang merupakan . Dengan demikian kita memiliki ortogonalitas dan . Jadi pada akhirnya kita miliki $(I-H_0)$ $S(X_0)$ $S^{\bot}(X_0)$ $\hat{Y} - \hat{Y_0}$ $\hat{Y_0}$

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

dan akhirnya $||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

Terakhir, rata-rata hanyalah ketika mempertimbangkan model nol . $\bar{Y}$ $\hat{Y_0}$ $Y = \beta_0 + e$

— Łukasz Grad
sumber

Terima kasih atas jawaban Anda! Apa itu S () (seperti pada S (X) di posting Anda)?

— bluemouse

S (X)

$S(X)$ adalah subruang yang dihasilkan oleh kolom matriks

X

$X$

— Łukasz Grad