Apakah mungkin untuk dari regresi pada dua variabel lebih tinggi dari jumlah untuk dua regresi pada variabel individu?

Dalam OLS, apakah mungkin untuk dari regresi pada dua variabel lebih tinggi dari jumlah untuk dua regresi pada variabel individu. $R^2$ $R^2$

$R^2(Y \sim A + B) > R^2(Y \sim A) + R^2(Y \sim B)$

Sunting: Ugh, ini sepele; itulah yang saya dapatkan untuk mencoba masalah masalah yang saya pikirkan saat di gym. Maaf sudah membuang-buang waktu lagi. Jawabannya jelas ya.

$Y \sim N(0,1)$

$A \sim N(0,1)$

$B = Y - A$

$R^2(Y \sim A + B) = 1$ , jelas. Tetapi harus 0 dalam batas dan harus 0,5 dalam batas. $R^2(Y \sim A)$ $R^2 (Y \sim B)$

regression least-squares

— bsdfish
sumber

Apakah Anda bertanya tentang ketidaksetaraan dalam persamaan tampilan (yang melibatkan jumlah kuadrat kuadrat ) atau Anda bertanya tentang ketidaksetaraan yang melibatkan kalimat sebelum persamaan itu, yaitu, yang melibatkan , koefisien determinasi?

R^{2}

$R^2$

— kardinal

Saya tertarik pada ; diedit untuk memperbaiki masalah.

R^{2}

$R^2$

— bsdfish

Baik . Ada penjelasan geometris yang bagus juga.

— kardinal

Anda dapat mengedit jawaban Anda dan meletakkannya sebagai jawaban yang sebenarnya, sehingga pertanyaan itu tidak tetap "tidak dijawab".

— Karl

Apakah ada peluang kita mendapatkan jawaban intuitif untuk ini? jika adalah persentase varians yang dijelaskan, lalu bagaimana seseorang dapat menjelaskan lebih banyak varians dengan model lengkap, daripada dengan model khusus untuk setiap variabel?

R^{2}

$R^2$

— kmace

Jawaban:

Berikut adalah sedikit R yang menetapkan seed acak yang akan menghasilkan dataset yang menunjukkannya dalam tindakan.

set.seed(103)

d <- data.frame(y=rnorm(20, 0, 1),
                a=rnorm(20, 0, 1),
                b=rnorm(20, 0, 1))

m1 <- lm(y~a, data=d)
m2 <- lm(y~b, data=d)
m3 <- lm(y~a+b, data=d)

r2.a <- summary(m1)[["r.squared"]]
r2.b <- summary(m2)[["r.squared"]]
r2.sum <- summary(m3)[["r.squared"]]

r2.sum > r2.a + r2.b

Tidak hanya itu mungkin (seperti yang telah Anda tunjukkan secara analitis) tidak sulit untuk dilakukan. Mengingat 3 variabel yang terdistribusi normal, tampaknya terjadi sekitar 40% dari waktu.

— Bukit Benjamin Mako
sumber

Wow. Kalian teman-teman MIT pasti punya waktu lebih banyak dari yang biasanya diperkirakan ;-)

— xmjx

Saya terjebak dalam hari yang panjang rapat. :)

— Benjamin Mako Hill

-1

Itu tidak mungkin. Selain itu, jika A dan B berkorelasi sama sekali (jika r mereka bukan nol), rsq dari regresi pada keduanya akan lebih kecil dari jumlah rsq regresi masing-masing.

Perhatikan bahwa bahkan jika A dan B sama sekali tidak berkorelasi, rsq yang disesuaikan (yang menghukum rasio case-to-predictor rendah) mungkin sedikit berbeda antara kedua solusi.

Mungkin Anda ingin berbagi lebih banyak tentang bukti empiris yang membuat Anda jengkel.

— rolando2
sumber

Anda mungkin ingin memikirkan kembali ini. Atau, coba simulasi. :)

— kardinal

Perhatikan bahwa itu adalah persis ketika dan yang sangat berkorelasi bahwa salah satu tidak melihat ketimpangan dinyatakan dalam pertanyaan. :)

A

$A$

B

$B$

— kardinal

Pertimbangkan skenario ekstrim berikut, di mana saya akan menggunakan lebih konvensional dan bukannya dan . Ambil distribusi normal (laten) bivariat. Biarkan menjadi proyeksi normal bivariat ke vektor eigen dengan nilai eigen terbesar. Biarkan menjadi proyeksi ke vektor eigen dari nilai eigen terkecil. Untuk setiap , biarkan . Kemudian, untuk adalah nol dan untuk dapat dibuat kecil secara sewenang-wenang. Namun, dari

X_{1}

$X_1$

X_{2}

$X_2$

A

$A$

B

$B$

Y

$Y$

X_{1}

$X_1$

0 < ρ < 1

$0 < \rho < 1$

X_{2} = ρ Y + \sqrt{1 - ρ^{2}} X

$X_2 = \rho Y + \sqrt{1-\rho^2} X$

R^{2}

$R^2$

X_{1}

$X_1$

R^{2}

$R^2$

X_{2}

$X_2$

R^{2}

$R^2$

X_{1} + X_{2}

$X_1+X_2$ adalah selalu 1 (mengapa?). Mungkin, Anda dapat mempertimbangkan untuk mengedit posting Anda.

— kardinal

... dan Maksud saya model yang menggabungkan kedua prediktor, bukan jumlah sebenarnya. Notasi yang lebih baik mungkin akan melalui jumlah langsung .

X_{1} + X_{2}

$X_1 + X_2$

X_{1} \oplus X_{2}

$X_1 \oplus X_2$

— kardinal