Apakah ada cara yang elegan / berwawasan untuk memahami identitas regresi linier ini untuk banyak ?

Dalam regresi linear saya menemukan hasil yang menyenangkan jika kita cocok dengan model

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

kemudian, jika kita membuat standar dan memusatkan data , dan , $Y$ $X_1$ $X_2$

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

Bagi saya ini terasa seperti versi 2 variabel dari untuk regresi, yang menyenangkan. $R^2 = \mathrm{Cor}(Y,X)^2$ $y=mx+c$

Tetapi satu-satunya bukti yang saya tahu adalah tidak konstruktif atau berwawasan luas (lihat di bawah), namun untuk melihatnya rasanya harus mudah dimengerti.

Contoh pemikiran:

The dan parameter memberi kita 'proporsi' dari dan di , dan jadi kami mengambil proporsi masing-masing korelasi mereka ... $\beta_1$ $\beta_2$ $X_1$ $X_2$ $Y$
The s korelasi parsial, adalah kuadrat korelasi berganda ... korelasi dikalikan dengan korelasi parsial ... $\beta$ $R^2$
Jika kita melakukan orthogonalize terlebih dahulu maka s akan menjadi ... apakah hasil ini masuk akal secara geometris? $\beta$ $\mathrm{Cov}/\mathrm{Var}$

Tak satu pun dari utas ini yang tampaknya mengarah ke mana pun untuk saya. Adakah yang bisa memberikan penjelasan yang jelas tentang bagaimana memahami hasil ini.

Bukti Tidak Memuaskan

R^{2} = \frac{S S_{r e g}}{S S_{T o t}} = \frac{S S_{r e g}}{N} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

dan

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

QED.

— Korone
sumber

Anda harus menggunakan variabel standar, karena jika rumus Anda untuk tidak dijamin berada di antara dan . Meskipun asumsi ini muncul sebagai bukti Anda, akan membantu jika Anda membuatnya eksplisit sejak awal. Saya bingung dengan apa yang sebenarnya Anda lakukan: jelas merupakan fungsi dari model itu sendiri - tidak ada hubungannya dengan data - namun Anda mulai mengatakan bahwa Anda telah "menyesuaikan" model dengan sesuatu .

R^{2}

$R^2$

0

$0$

1

$1$

R^{2}

$R^2$

— whuber

Bukankah hasil teratas Anda hanya berlaku jika X1 & X2 benar-benar tidak berkorelasi?

— gung - Reinstate Monica

@ung saya tidak berpikir begitu - bukti di bagian bawah sepertinya mengatakan itu berfungsi terlepas. Hasil ini mengejutkan saya juga, karenanya menginginkan "bukti pemahaman yang jelas"

— Korone

@whuber Saya tidak yakin apa yang Anda maksud dengan "fungsi model sendirian"? Saya hanya bermaksud untuk OLS sederhana dengan dua variabel predicter. Yaitu ini adalah versi variabel 2 dari

R^{2}

$R^2$

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— Korone

Saya tidak tahu apakah adalah parameter atau taksiran.

β_{i}

$\beta_i$

— whuber

Jawaban:

Matriks topi idempoten.

(Ini adalah cara linear-aljabar yang menyatakan bahwa OLS adalah proyeksi ortogonal dari vektor respons ke ruang yang direntang oleh variabel.)

Ingat itu menurut definisi

R^{2} = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

dimana

E S S = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

adalah jumlah kuadrat dari nilai yang diprediksi (terpusat) dan

T S S = Y^{'} Y

$TSS = Y^\prime Y$

adalah jumlah kuadrat dari nilai respons (terpusat). Membakukan sebelumnya ke varian unit juga menyiratkan $Y$

T S S = Y^{'} Y = n .

$TSS = Y^\prime Y = n.$

Ingat juga, bahwa koefisien estimasi diberikan oleh

\hat{β} = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

dari mana

\hat{Y} = X \hat{β} = X (X^{'} X)^{-} X^{'} Y = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

di mana adalah "topi matrix" mempengaruhi proyeksi ke kotak yang paling cocok . Itu simetris (yang terlihat jelas dari bentuknya) dan idempoten . Ini adalah bukti dari yang terakhir untuk mereka yang tidak terbiasa dengan hasil ini. Itu hanya mengacak-acak kurung di sekitar: $H$ $Y$ $\hat Y$

\begin{aligned} H^{'} H = H H & = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = X (X^{'} X)^{-} X^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

Karena itu

R^{2} = \frac{E S S}{T S S} = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = \frac{1}{n} Y^{'} H^{'} H Y = \frac{1}{n} Y^{'} H Y = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

Langkah penting di tengah menggunakan idempotence dari matriks topi. Sisi kanan adalah formula ajaib Anda karena adalah (baris) vektor koefisien korelasi antara dan kolom . $\frac{1}{n}Y^\prime X$ $Y$ $X$

— whuber
sumber

(+1) Penulisan yang sangat bagus. Tapi mengapa ^{-}bukannya di ^{-1}mana - mana?

— amoeba

@amoeba Ini adalah kebalikan umum , taruh di sana untuk menangani case di mana mungkin singular.

X^{'} X

$X^\prime X$

— whuber

@amoeba Penrose, dalam makalah aslinya ( A Generalized Inverse for Matrices , 1954) menggunakan notasi . Saya tidak suka itu atau notasi karena mereka terlalu mudah dikacaukan dengan konjugat, transpos, atau konjugat transpos, sedangkan notasi begitu sugestif dari invers sehingga pembaca biasa bisa lolos dengan memikirkan sebagai jika mereka suka. Anda hanya pembaca yang baik - tetapi terima kasih telah memperhatikan.

A^{†}

$A^\dagger$

A^{+}

$A^{+}$

A^{-}

$A^{-}$

A^{- 1}

$A^{-1}$

— whuber

Motivasi yang menarik dan meyakinkan, tetapi bolehkah saya bertanya apakah notasi ini adalah sesuatu yang kadang-kadang digunakan di tempat lain atau apakah itu penemuan Anda sendiri?

— amoeba

@amoeba: Ya, notasi ini muncul di tempat lain, termasuk dalam teks klasik oleh Graybill pada model linier.

— kardinal

Tiga formula berikut ini terkenal, mereka ditemukan dalam banyak buku tentang regresi linier. Tidak sulit untuk menurunkannya.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Jika Anda mengganti kedua beta ke dalam persamaan Anda , Anda akan mendapatkan rumus di atas untuk R-square. $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

Berikut ini adalah "wawasan" geometris. Di bawah ini adalah dua gambar yang menunjukkan regresi oleh dan . Representasi semacam ini dikenal sebagai variabel-sebagai-vektor dalam ruang subjek (harap baca tentang apa itu). Gambar-gambar diambil setelah ketiga variabel dipusatkan, dan jadi (1) setiap vektor panjang = st. penyimpangan dari masing-masing variabel, dan (2) sudut (cosinusnya) antara setiap dua vektor = korelasi antara masing-masing variabel. $Y$ $X_1$ $X_2$

masukkan deskripsi gambar di sini

$\hat{Y}$ adalah prediksi regresi (proyeksi ortogonal ke "pesawat X"); adalah istilah kesalahan; , koefisien korelasi berganda. $Y$ $e$ $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

Gambar kiri menggambarkan koordinat miring dari pada variabel dan . Kita tahu bahwa koordinat tersebut berhubungan dengan koefisien regresi. Yaitu, koordinatnya adalah: dan . $\hat{Y}$ $X_1$ $X_2$ $b_1|X_1|=b_1\sigma_{X_1}$ $b_2|X_2|=b_2\sigma_{X_2}$

Dan gambar kanan menunjukkan koordinat tegak lurus yang sesuai . Kita tahu bahwa koordinat tersebut berhubungan dengan koefisien korelasi orde nol (ini adalah kosinus dari proyeksi ortogonal). Jika adalah korelasi antara dan dan adalah korelasi antara dan maka koordinatnya adalah . Demikian juga untuk koordinat lainnya, . $r_1$ $Y$ $X_1$ $r_1^*$ $\hat Y$ $X_1$ $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Sejauh ini penjelasan umum tentang representasi vektor regresi linier. Sekarang kita beralih ke tugas untuk menunjukkan bagaimana hal itu dapat menyebabkan . $R^2 = r_1 \beta_1 + r_2 \beta_2$

Pertama-tama, ingatlah bahwa dalam pertanyaan mereka @Corone mengemukakan kondisi bahwa ekspresi itu benar ketika ketiga variabel distandarisasi , yaitu, tidak hanya dipusatkan tetapi juga diskalakan ke varian 1. Lalu (yaitu menyiratkan untuk menjadi "bagian yang bekerja" dari vektor) kita memiliki koordinat yang sama dengan: ; ; ; ; dan juga. Gambar ulang, di bawah kondisi ini, hanya "pesawat X" dari gambar di atas: $|X_1|=|X_2|=|Y|=1$ $b_1|X_1|=\beta_1$ $b_2|X_2|=\beta_2$ $r_1|Y|=r_1$ $r_2|Y|=r_2$ $R=|\hat Y|/|Y|=|\hat Y|$

masukkan deskripsi gambar di sini

Pada gambar, kita memiliki sepasang koordinat tegak lurus dan sepasang koordinat miring, dari vektor yang sama panjang . Ada aturan umum untuk mendapatkan koordinat tegak lurus dari yang miring (atau belakang): , di mana adalah matriks yang tegak lurus; adalah matriks ukuran miring yang sama; dan adalah matriks simetris sudut (cosinus) antara sumbu nonorthogonal. $\hat Y$ $R$ $\bf P = S C$ $\bf P$ points X axes $\bf S$ $\bf C$ axes X axes

$X_1$ dan adalah sumbu dalam kasus kami, dengan menjadi cosinus di antara mereka. Jadi, dan . $X_2$ $r_{12}$ $r_1 = \beta_1 + \beta_2 r_{12}$ $r_2 = \beta_1 r_{12} + \beta_2$

Pengganti ini s diekspresikan melalui s di @ Corone ini pernyataan , dan Anda akan mendapatkan bahwa , - yang benar , karena itu persis bagaimana diagonal dari jajaran genjang (diwarnai pada gambar) diekspresikan melalui sisi yang berdekatan (kuantitas menjadi produk skalar). $r$ $\beta$ $R^2 = r_1 \beta_1 + r_2 \beta_2$ $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

Hal yang sama ini berlaku untuk sejumlah prediksi X. Sayangnya, tidak mungkin untuk menggambar gambar yang sama dengan banyak prediksi.

— ttnphns
sumber

+1 senang melihatnya dibangun dengan cara ini juga, tapi ini tidak menambah wawasan dibandingkan dengan jawaban

— whuber

@Corone, saya menambahkan beberapa "wawasan" yang mungkin Anda ambil.

— ttnphns

+1 Sangat keren (setelah pembaruan). Saya berpikir bahwa menerapkan "aturan umum" untuk mengkonversi antar koordinat sedikit berlebihan (dan bagi saya hanya membingungkan); untuk melihat bahwa misal kita hanya perlu mengingat definisi cosinus dan melihat pada salah satu segitiga siku-siku.

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$

— amoeba

Sunting sangat keren, diaktifkan diterima.

— Korone