hubungan antara

Pertanyaan yang sangat mendasar tentang regresi OLS$R^2$

1. jalankan regresi OLS y ~ x1, kami memiliki , katakanlah 0,3$R^2$
2. jalankan regresi OLS y ~ x2, kami memiliki , katakanlah 0,4$R^2$
3. sekarang kita menjalankan regresi y ~ x1 + x2, berapakah nilai R kuadrat regresi ini?

Saya pikir itu jelas untuk regresi berganda harus tidak kurang dari 0,4, tetapi apakah mungkin untuk lebih dari 0,7?$R^2$

Regressor kedua hanya bisa menebus apa yang tidak berhasil dijelaskan oleh pertama dalam variabel dependen. Ini adalah contoh numerik:

Hasilkan x1sebagai regresi normal standar, ukuran sampel 20. Tanpa kehilangan sifat umum, ambil , di mana u i adalah N ( 0 , 1 ) , juga. Sekarang, ambil regresi kedua hanya sebagai perbedaan antara variabel dependen dan regresi pertama.$y_i=0.5x_{1i}+u_i$$u_i$$N(0,1)$x2

n <- 20 
x1 <- rnorm(n)

y <- .5*x1 + rnorm(n)

x2 <- y - x1
summary(lm(y~x1))$r.squared
summary(lm(y~x2))$r.squared
summary(lm(y~x1+x2))$r.squared

Selain batas bawah, yaitu 0,3 atau 0,4 tergantung pada variabel mana yang memasuki model pertama, tidak banyak yang bisa Anda katakan. Berapa banyak naik sangat tergantung pada informasi yang dibawa variabel kedua ke dalam model. Dengan informasi, yang kami maksud tentu saja variasi yang dijelaskan dalam respons.$R^2$

Ada satu konsep yang sangat penting dalam hal itu dan itu adalah korelasi antara para prediktor. Jika korelasinya besar, variabel baru tidak hanya akan membawa apa-apa ke model tetapi juga akan mempersulit inferensi untuk variabel Anda yang ada, karena perkiraan akan menjadi tidak tepat (multikolinieritas). Ini adalah alasan mengapa kita lebih suka variabel baru menjadi ortogonal daripada yang lain. Peluangnya sangat kecil untuk hal ini terjadi dalam studi observasional, tetapi dapat dicapai dalam pengaturan yang terkontrol, misalnya ketika Anda membangun eksperimen Anda sendiri.

Tetapi bagaimana Anda mengukur dengan tepat informasi baru yang akan dibawa variabel ke model? Salah satu ukuran yang digunakan secara luas yang mengambil semua ini diperhatikan adalah dalam parsial $R^2$ . Jika Anda terbiasa dengan ANOVA dari model linier, ini tidak lebih dari penurunan proporsional dalam Jumlah Kesalahan Kuadrat yang akan Anda capai dengan memasukkan variabel ini ke dalam model Anda. Persentase tinggi diinginkan, sementara yang rendah mungkin akan membuat Anda berpikir apakah ini tindakan yang tepat.

Jadi seperti @ cardinal tunjukkan dalam komentar, koefisien determinasi baru Anda bisa setinggi 1. Ini juga bisa serendah 0,400001. Tidak ada cara untuk mengetahui tanpa informasi tambahan.

Koefisien determinasi dalam regresi linier berganda: Dalam regresi linier berganda, koefisien determinasi dapat ditulis dalam bentuk korelasi berpasangan untuk variabel menggunakan bentuk kuadratik:

$$R^2 = \boldsymbol{r}_{\mathbf{y},\mathbf{x}}^\text{T} \boldsymbol{r}_{\mathbf{x},\mathbf{x}}^{-1} \boldsymbol{r}_{\mathbf{y},\mathbf{x}},$$

$\boldsymbol{r}_{\mathbf{y},\mathbf{x}}$$\boldsymbol{r}_{\mathbf{x},\mathbf{x}}$

$$\begin{equation} \begin{aligned} R^2 &= \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & r_{X_1,X_2} \\[6pt] r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix}^{-1} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & -r_{X_1,X_2} \\[6pt] -r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} ( r_{Y,X_1}^2 + r_{Y,X_2}^2 - 2 r_{X_1,X_2} r_{Y,X_1} r_{Y,X_2} ). \end{aligned} \end{equation}$$

$D \equiv \text{sgn} (r_{Y,X_1}) \cdot \text{sgn} (r_{Y,X_2}) \in \{ -1, +1 \}$$r_{Y,X_1}^2 = 0.3$$r_{Y,X_2}^2 = 0.4$

$$R^2 = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_1,X_2}}{1-r_{X_1,X_2}^2}.$$

$R^2 > 0.7$