Kemungkinan kisaran

10

Misalkan ada tiga deret waktu, , dan $X_1$ $X_2$ $Y$

Menjalankan regresi linier biasa pada ~ ( ), kita mendapatkan . Regresi linier biasa ~ mendapatkan . Asumsikan $Y$ $X_1$ $Y = b X_1 + b_0 + \epsilon$ $R^2 = U$ $Y$ $X_2$ $R^2 = V$ $U < V$

Berapa nilai minimum dan maksimum yang mungkin dari pada regresi ~ ( )? $R^2$ $Y$ $X_1 + X_2$ $Y = b_1 X_1 + b_2 X_2 + b_0 + \epsilon$

Saya percaya minimum harus + nilai kecil, karena menambahkan variabel baru selalu meningkatkan , tapi saya tidak tahu bagaimana mengukur nilai kecil ini, dan saya tidak tahu cara mendapatkan rentang maksimum . $R^2$ $V$ $R^2$

regression multiple-regression r-squared

— Vendetta
sumber

9

1) EDIT: komentar Kardinal bawah menunjukkan bahwa jawaban yang benar untuk min pertanyaan adalah . Karenanya saya menghapus jawaban "menarik", tetapi akhirnya salah, pada bagian pos OP. $R^2$ $V$

2) Maksimum adalah 1. Pertimbangkan contoh berikut, yang sesuai dengan kasus Anda. $R^2$

x1 <- rnorm(100)
x2 <- rnorm(100)
y <- x1 + 2*x2

> summary(lm(y~x1))$r.squared
[1] 0.2378023                 # This is U
> summary(lm(y~x2))$r.squared
[1] 0.7917808                 # This is V; U < V
> summary(lm(y~x1+x2))$r.squared
[1] 1

Di sini kita memperbaiki varians dari di 0. Jika Anda ingin , semuanya berubah sedikit. Anda bisa mendapatkan mendekati angka 1 dengan membuat lebih kecil dan lebih kecil, tetapi, seperti masalah minimum, Anda tidak bisa sampai di sana, jadi tidak ada yang maksimum. 1 menjadi supremum , karena selalu lebih besar dari tetapi juga batas sebagai . $\epsilon$ $\sigma^2_\epsilon > 0$ $R^2$ $\sigma^2_\epsilon$ $R^2$ $\sigma^2_\epsilon \to 0$

— Jbowman
sumber

2

(+1) Beberapa komentar: Ini adalah jawaban yang bagus; itu menarik bahwa Anda telah mengambil pendekatan asimtotik padahal tidak jelas apakah OP itu tertarik pada itu atau, mungkin, fixed

satu (atau keduanya). Jawaban ini sedikit tidak konsisten dengan kendala OP yang

, meskipun, dan jika

atau

untuk beberapa

, misalnya, maka minimal

untuk semua ukuran sampel tetap adalah persis

n

$n$

U < V

$U < V$

X_{1} = 0

$X_1 = 0$

X_{1} = a 1

$X_1 = a \mathbf{1}$

a \in R

$a \in \mathbb R$

R^{2}

$R^2$

V := V (n)

$V := V(n)$ . (Maafkan patologi dari contoh-contoh ini.) Selain itu, OLS tidak selalu konsisten, tidak ada kendala tambahan pada prediktor. :)

— kardinal

@ cardinal - tentang membaca ulang, saya tidak tahu mengapa saya mengambil pendekatan itu untuk masalah min, ketika

sekarang sepertinya jawaban yang jelas benar dan, seperti yang telah Anda amati secara implisit, saya dapat membuat contoh yang mencapainya dalam urat dari bagian maksimal ... oh well, mungkin espresso saya pagi ini tanpa disengaja. (Mungkin saya harus meninjau jawaban saya lebih teliti sebelum memposting, juga!)

V

$V$

— jbowman

Saya tidak berpikir Anda harus menghapus apa yang telah Anda tulis, yang saya lakukan menemukan pendekatan yang menarik untuk menjawab pertanyaan! Sementara patologi yang saya sebutkan tentu memungkinkan untuk

minimum , orang mungkin bertanya-tanya apa yang sebenarnya dimaksud dengan

. Contoh lainnya mungkin tidak cukup sebagai patologis sejak dalam versi umum masalah ini, meluas ke kasus di mana setiap tambahan

adalah di ruang kolom dari prediktor lainnya. :)

R^{2}

$R^2$

X_{1} = 0

$X_1 = 0$

X_{i}

$X_i$

— kardinal

1

@ cardinal - terima kasih! Saya akan merekonstruksinya, mungkin sedikit lebih formal, dan meletakkannya kembali di bawah sebentar.

— jbowman

5

Biarkan sama dengan korelasi antara dan , sama dengan korelasi antara dan , dan korelasi antara dan . Kemudian untuk model lengkap dibagi dengan sama dengan $r_{1,2}$ $X_1$ $X_2$ $r_{1,Y}$ $X_1$ $Y$ $r_{2,Y}$ $X_2$ $Y$ $R^2$ $V$

(\frac{1}{(1 - r_{1, 2}^{2})}) (1 - \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} + \frac{U}{V}) .

$\left(\frac{1}{(1 - r_{1,2}^2)}\right) \left(1 - \frac{2 \cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} + \frac{U}{V}\right).$

Jadi untuk model penuh sama dengan hanya jika dan atau $R^2$ $V$ $r_{1,2} = 0$ $r_{1,Y}^2 = U = 0$

r_{1, 2}^{2} = \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} - \frac{U}{V} .

$r_{1,2}^2 = \frac{2\cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} - \frac{U}{V}.$

Jika , untuk model penuh sama . $r_{1,2} = 0$ $R^2$ $U + V$

— Margot
sumber

(+1) Lucu. Selamat datang di situs ini. Harap pertimbangkan untuk mendaftarkan akun Anda sehingga Anda dapat berpartisipasi lebih penuh. Saya harus melihat ungkapan ini sedikit lebih dekat nanti. :)

— kardinal

4

Tanpa kendala pada dan , maka minimum adalah , dan kemudian maksimum adalah lebih kecil . Hal ini karena dua variabel dapat berkorelasi sempurna (dalam hal menambahkan variabel kedua tidak mengubah sama sekali) atau mereka bisa menjadi orthogonal dalam hal termasuk kedua hasil di . Benar ditunjukkan dalam komentar bahwa ini juga mengharuskan masing-masing ortogonal ke , vektor kolom 1s. $U$ $V$ $V$ $\min(V + U, 1)$ $R^2$ $U + V$ $\mathbf{1}$

Anda menambahkan kendala . Namun, masih mungkin bahwa . Yaitu, , dalam hal ini, . Akhirnya, adalah mungkin bahwa sehingga batas atas masih . $U < V \implies X_{1} \neq X_{2}$ $U = 0$ $X_{1} \perp Y$ $\min = \max = V + 0$ $X_{1} \perp X_{2}$ $\min(V + U, 1)$

Jika Anda tahu lebih banyak tentang hubungan antara dan , saya pikir Anda bisa mengatakan lebih banyak. $X_{1}$ $X_{2}$

— Joshua
sumber

1

(+1) Tetapi, perhatikan bahwa tidak (cukup) benar bahwa jika

dan

adalah ortogonal, maka nilai

masing-masing akan dijumlahkan ketika memasukkan keduanya dalam model. Kita juga membutuhkan mereka agar ortogonal dengan vektor semua-yang

. Perhatikan bahwa Anda dapat menggunakan

X_{1}

$X_1$

X_{2}

$X_2$

R^{2}

$R^2$

1

$\mathbf 1$

di situs ini untuk menandai matematika. :)

L A T E X

$\LaTeX$

— kardinal

Itu benar. Terima kasih banyak atas komentarnya, dan untuk menunjukkan bahwa

bisa digunakan. Saya pikir itu mungkin tetapi telah mencoba lolos gaya mathjax (dan [untuk inline / persamaan. Menulis seperti yang saya lakukan di TeX bekerja seperti pesona :)

L A T E X

$\LaTeX$

— Joshua