Interpretasi geometris dari koefisien korelasi berganda dan koefisien determinasi

Saya tertarik pada arti geometris dari korelasi berganda dan koefisien determinasi dalam regresi , atau dalam notasi vektor, $R$ $R^2$ $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$

y = X β + ϵ

$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$

Di sini matriks desain memiliki baris dan kolom , di mana yang pertama adalah , vektor 1s yang berhubungan dengan intersep . $\mathbf{X}$ $n$ $k$ $\mathbf{x}_1 = \mathbf{1}_n$ $\beta_1$

Geometri lebih menarik dalam ruang subjek $n$ dimensi daripada di ruang variabel $k$ dimensi. Tentukan matriks topi:

H = {X (X^{⊤} X)}^{- 1} X^{⊤}

$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$

Ini adalah proyeksi ortogonal pada ruang kolom $\mathbf{X}$ , yaitu flat melalui asal direntang oleh vektor $k$ mewakili setiap variabel $\mathbf{x}_i$ , yang pertama adalah $\mathbf{1}_n$ . Kemudian $\mathbf{H}$ memproyeksikan vektor dari respons yang diamati $\mathbf{y}$ ke "bayangan" -nya di flat, vektor nilai yang dipasang $\mathbf{\hat{y}} = \mathbf{Hy}$ , dan jika kita lihat sepanjang jalan proyeksi kita melihat vektor residual $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ membentuk sisi ketiga dari sebuah segitiga. Ini seharusnya memberi kita dua rute menuju interpretasi geometris $R^2$ :

Kuadrat dari koefisien korelasi berganda, $R$ , yang didefinisikan sebagai korelasi antara $\mathbf{y}$ dan $\mathbf{\hat{y}}$ . Ini akan muncul secara geometris sebagai kosinus sudut.
Dalam hal panjang vektor: misalnya $SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$ .

Saya akan senang melihat akun singkat yang menjelaskan:

Rincian yang lebih halus untuk (1) dan (2),
Mengapa (1) dan (2) setara,
Secara singkat, bagaimana wawasan geometris memungkinkan kita memvisualisasikan properti dasar $R^2$ , misalnya mengapa ia pergi ke 1 ketika varians noise pergi ke 0. (Lagi pula, jika kita tidak bisa intuisi dari visualisasi kita maka itu tidak lebih dari satu gambar yang indah.)

Saya menghargai ini lebih mudah jika variabel dipusatkan terlebih dahulu, yang menghilangkan intersep dari pertanyaan. Namun, di sebagian besar akun buku teks yang memperkenalkan regresi berganda, matriks desain seperti yang saya jelaskan. Tentu saja baik-baik saja jika eksposisi menggali ruang yang direntang oleh variabel terpusat, tetapi untuk wawasan aljabar linier buku teks, akan sangat membantu untuk menghubungkan kembali ini dengan apa yang terjadi secara geometris dalam situasi tanpa tekanan. Sebuah jawaban yang benar-benar berwawasan mungkin menjelaskan apa yang sebenarnya memecah secara geometris ketika istilah intersep dijatuhkan - yaitu ketika vektor $\mathbf{X}$ $\mathbf{1}_n$ dihapus dari set spanning. Saya tidak berpikir poin terakhir ini dapat diatasi dengan mempertimbangkan variabel terpusat sendirian.

— Gegat
sumber

Jika ada istilah konstan dalam model maka terletak di ruang kolom (seperti halnya , yang akan berguna nanti). pas adalah proyeksi ortogonal dari diamati ke flat yang dibentuk oleh ruang kolom itu. Ini berarti vektor residu tegak lurus terhadap flat, dan karenanya ke . Mengingat produk titik kita dapat melihat , sehingga komponen harus dijumlahkan ke nol. Karena kami menyimpulkan itu $\mathbf{1_n}$ $\mathbf{X}$ $\bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $\sum_{i=1}^n e_i = 0$ $\mathbf{e}$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ sehingga respons yang dipasang dan diamati memiliki rata-rata . $\bar{Y}$

Vektor dalam ruang subjek regresi berganda

Garis putus-putus dalam diagram mewakili dan , yang merupakan vektor berpusat untuk tanggapan yang diamati dan dipasang. Kosinus dari sudut antara vektor karena itu akan menjadi korelasi dan , yang menurut definisi adalah koefisien korelasi . Segitiga yang vektor-vektor ini bentuk dengan vektor residual adalah sudut siku-siku karena terletak di flat tetapi ortogonal untuk itu. Karenanya: $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\theta$ $Y$ $\hat{Y}$ $R$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

R = \cos (θ) = \frac{adj}{hyp} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖}{‖ Y - \bar{Y} 1_{n} ‖}

$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$

Kita juga bisa menerapkan Pythagoras ke segitiga:

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

Yang mungkin lebih akrab dengan:

\sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} + \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}

$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$

Ini adalah dekomposisi jumlah kuadrat, . $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

Definisi standar untuk koefisien determinasi adalah:

R^{2} = 1 - \frac{S S_{residual}}{S S_{total}} = 1 - \frac{\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = 1 - \frac{‖ Y - \hat{Y} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

Ketika jumlah kuadrat dapat dipartisi, dibutuhkan beberapa aljabar langsung untuk menunjukkan ini setara dengan formulasi "proporsi varian dijelaskan",

R^{2} = \frac{S S_{regression}}{S S_{total}} = \frac{\sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

Ada cara geometris untuk melihat ini dari segitiga, dengan aljabar minimal. Rumus definisi memberikan dan dengan trigonometri dasar kita dapat menyederhanakan ini menjadi . Ini adalah hubungan antara dan . $R^2 = 1 - \sin^2(\theta)$ $\cos^2(\theta)$ $R^2$ $R$

Perhatikan betapa pentingnya analisis ini untuk dilengkapi dengan istilah intersepsi, sehingga ada di ruang kolom. Tanpa ini, residual tidak akan dijumlahkan ke nol, dan rata-rata nilai dipasang tidak akan bertepatan dengan rata-rata . Kalau begitu kita tidak bisa menggambar segitiga; jumlah kotak tidak akan membusuk dengan cara Pythagoras; tidak akan memiliki bentuk yang sering dikutip atau menjadi persegi . Dalam situasi ini, beberapa perangkat lunak (termasuk ) menggunakan formula yang berbeda untuk sama sekali . $\mathbf{1_n}$ $Y$ $R^2$ $SS_{\text{reg}}/SS_{\text{total}}$ $R$ R $R^2$

— Gegat
sumber

+1 artikel dan angka yang sangat bagus. Saya terkejut bahwa itu hanya suara saya sendiri kesepian.

— Amoeba berkata Reinstate Monica

+1. Perhatikan bahwa angka jawaban Anda, dengan "ruang kolom X", Y, Ypred sebagai vektor, dll. Adalah yang dikenal dalam statistik multivarian sebagai "(dikurangi) representasi ruang subjek" ( lihat , dengan tautan lebih lanjut di mana saya telah menggunakannya ).

— ttnphns