Apakah urutan variabel penting dalam regresi linier

9

Saya sedang menyelidiki interaksi antara dua variabel ( dan ). Ada banyak korelasi linier antara variabel-variabel ini dengan $x_1$ $x_2$ $r>0.9$ . Dari sifat masalah saya tidak bisa mengatakan apa-apa tentang penyebabnya (apakah menyebabkan atau sebaliknya). Saya ingin mempelajari penyimpangan dari garis regresi, untuk mendeteksi outlier. Untuk melakukan ini, saya dapat membangun regresi linier sebagai fungsi , atau sebaliknya. Dapatkah pilihan urutan variabel saya memengaruhi hasil saya? $x_1$ $x_2$ $x_1$ $x_2$

regression outliers linear-model

— George
sumber

Dalam mencari outlier, pertama-tama Anda harus regresi variabel dependen Anda terhadap

dan

dan mencari outlier.

x_{1}

$x_{1}$

x_{2}

$x_{2}$

— schenectady

Apakah mencari pencilan adalah pupus dari penyelidikan Anda? Jika demikian, maka pertama-tama Anda harus regresi variabel dependen Anda terhadap kedua

dan

dan kemudian melakukan tes outlier. Jika menemukan kemungkinan penyebabnya, maka Anda harus mempertimbangkan untuk melakukan percobaan yang dirancang. Jika tujuan percobaan Anda adalah untuk menemukan hubungan antara dua variabel independen Anda, melihat kebetulan data yang dikumpulkan tidak akan berhasil.

x_{1}

$x_{1}$

x_{2}

$x_{2}$

— schenectady

Tidak jelas bagi saya apa yang Anda maksudkan dengan outlier. Jika ada outlier dalam data Anda maka mereka akan mempengaruhi perhitungan garis regresi. Mengapa Anda mencari pencilan di

dan

secara bersamaan?

x_{1}

$x_1$

x_{2}

$x_2$

— DQdlM

@schenectady Tolong gunakan $$ untuk LaTeX dalam komentar.

3

Itu pasti bisa (sebenarnya, itu bahkan penting berkenaan dengan asumsi pada data Anda - Anda hanya membuat asumsi tentang distribusi hasil yang diberikan kovariat). Dalam terang ini, Anda mungkin mencari istilah seperti "varians prediksi terbalik". Either way, regresi linier tidak mengatakan apa pun tentang sebab akibat! Paling-paling, Anda dapat mengatakan sesuatu tentang sebab akibat melalui desain yang cermat.

— Nick Sabbe
sumber

3

Untuk membuat kasus simetris, orang dapat mundur perbedaan antara dua variabel ( ) vs nilai rata-rata mereka. $\Delta x$

— Boris Gorelik
sumber

3

Regresi standar meminimalkan jarak vertikal antara titik-titik dan garis, sehingga beralih 2 variabel sekarang akan meminimalkan jarak horizontal (diberi sebar sebaran yang sama). Pilihan lain (yang menggunakan beberapa nama) adalah untuk meminimalkan jarak tegak lurus, ini dapat dilakukan dengan menggunakan komponen utama.

Berikut ini beberapa kode R yang menunjukkan perbedaan:

library(MASS)

tmp <- mvrnorm(100, c(0,0), rbind( c(1,.9),c(.9,1)) )

plot(tmp, asp=1)

fit1 <- lm(tmp[,1] ~ tmp[,2])  # horizontal residuals
segments( tmp[,1], tmp[,2], fitted(fit1),tmp[,2], col='blue' )
o <- order(tmp[,2])
lines( fitted(fit1)[o], tmp[o,2], col='blue' )

fit2 <- lm(tmp[,2] ~ tmp[,1])  # vertical residuals
segments( tmp[,1], tmp[,2], tmp[,1], fitted(fit2), col='green' )
o <- order(tmp[,1])
lines( tmp[o,1], fitted(fit2)[o], col='green' )

fit3 <- prcomp(tmp)
b <- -fit3$rotation[1,2]/fit3$rotation[2,2]
a <- fit3$center[2] - b*fit3$center[1]
abline(a,b, col='red')
segments(tmp[,1], tmp[,2], tmp[,1]-fit3$x[,2]*fit3$rotation[1,2], tmp[,2]-fit3$x[,2]*fit3$rotation[2,2], col='red')

legend('bottomright', legend=c('Horizontal','Vertical','Perpendicular'), lty=1, col=c('blue','green','red'))

Untuk mencari pencilan Anda cukup memplot hasil analisis komponen utama.

Anda mungkin juga ingin melihat:

Bland dan Altman (1986), Metode Statistik untuk Menilai Perjanjian Antara Dua Metode Pengukuran Klinis. Lancet, hlm 307-310

— Greg Snow
sumber

0

Variabel x1 dan x2 Anda adalah collinear. Di hadapan multikolinearitas, estimasi parameter Anda masih tidak bias, tetapi variansnya besar, yaitu, kesimpulan Anda tentang pentingnya estimasi parameter tidak valid, dan prediksi Anda akan memiliki interval kepercayaan yang besar.

Interpretasi estimasi parameter juga sulit. Dalam kerangka regresi linier, estimasi parameter pada x1 adalah perubahan Y untuk perubahan unit di x1 mengingat setiap variabel eksogen lainnya dalam model dijaga konstan. Dalam kasus Anda, x1 dan x2 sangat berkorelasi, dan Anda tidak dapat menahan x2 konstan ketika x1 berubah.

— kamu telah
sumber