Bagaimana mungkin untuk mendapatkan model regresi linier yang baik ketika tidak ada korelasi substansial antara output dan prediktor?

Saya telah melatih model regresi linier, menggunakan serangkaian variabel / fitur. Dan modelnya memiliki kinerja yang baik. Namun, saya menyadari bahwa tidak ada variabel dengan korelasi yang baik dengan variabel yang diprediksi. Bagaimana itu mungkin?

— Zaratruta
sumber

Ini adalah jawaban yang bagus, tetapi pertanyaannya kehilangan banyak perincian yang berusaha diisi oleh jawaban itu. Pertanyaan terbesar dalam pikiran saya adalah apa yang Anda maksud dengan "korelasi yang baik."

— DHW

Kemungkinan duplikat. Dapatkah variabel kontrol yang tidak informatif menjadi berguna?

— user3684792

Jawaban:

Sepasang variabel mungkin menunjukkan korelasi parsial yang tinggi (korelasi menghitung dampak variabel lain) tetapi korelasi rendah - atau bahkan nol - marjinal (korelasi berpasangan).

Yang berarti bahwa korelasi berpasangan antara respons, y dan beberapa prediktor, x mungkin bernilai kecil dalam mengidentifikasi variabel yang sesuai dengan (linear) nilai "prediktif" di antara sekumpulan variabel lain.

Pertimbangkan data berikut:

Korelasi antara y dan x adalah . Jika saya menggambar garis kuadrat terkecil, itu horisontal sempurna dan secara alami akan menjadi . $0$ $R^2$ $0$

Tetapi ketika Anda menambahkan variabel baru g, yang menunjukkan dari dua kelompok mana observasi berasal, x menjadi sangat informatif:

The dari model regresi linier dengan baik x dan g variabel di dalamnya akan 1. $R^2$

Mungkin saja hal seperti ini terjadi dengan setiap variabel dalam model - bahwa semua memiliki korelasi berpasangan yang kecil dengan respons, namun model dengan mereka semua di sana sangat baik dalam memprediksi respons.

Bacaan tambahan:

https://en.wikipedia.org/wiki/Omitted-variable_bias

https://en.wikipedia.org/wiki/Simpson%27s_paradox

— Glen_b -Reinstate Monica
sumber

Bisakah perilaku ini terjadi dalam model linier sejati? Di sini, hubungan antara warna (g = 0/1) dan respons y tampaknya tidak linier. Namun, apa yang bisa terjadi adalah bahwa

model tanpa

bisa (sewenang-wenang?) Menurunkan dari

dari model dengan

R^{2}

$R^2$

g

$g$

R^{2}

$R^2$

g

$g$

— Vimal

Astaga, saya harus melihat model dari dekat :)

. Gosok pertanyaan itu!

y = x - 41 g

$y=x - 41g$

— Vimal

Itu memang model yang dengannya respons diciptakan; tetapi Anda dapat segera melihatnya linier hanya dengan membayangkan mengangkat titik biru keluar satu unit sewenang-wenang (ke arah Anda dari permukaan layar, sepanjang arah sumbu "g" yang baru) dan melihat sebuah pesawat masuk melalui enam titik.

— Glen_b -Reinstate Monica

Dalam regresi, variabel X dikondisikan dan mungkin sering dikontrol, jadi "independensi" biasanya tidak seperti yang dicari. Eksperimen yang dirancang di luar, prediktor independen hampir tidak pernah terlihat dalam kasus apa pun, dan jika Anda memang merancang eksperimen, prediktor bukanlah variabel acak sehingga "independensi" (dalam pengertian statistik) bukanlah yang akan Anda lihat - lebih tepatnya sesuatu seperti ortogonalitas timbal balik, mungkin. ...

— ctd

ctd ... Jika Anda benar-benar melakukan kemandirian statistik (mutual / p-variate) dari semua prediktor, maka Anda tidak akan mendapatkan nol koefisien tepat pada regresi univariat seperti itu, tetapi Anda juga tidak perlu pemisahan lengkap seperti contoh di atas .

— Glen_b -Reinstate Monica

Saya berasumsi Anda sedang melatih model regresi berganda, di mana Anda memiliki beberapa variabel bebas , , ..., mengalami regresi pada Y. Jawaban sederhana di sini adalah korelasi berpasangan seperti menjalankan model regresi yang tidak ditentukan spesifik. Dengan demikian, Anda menghilangkan variabel penting. $X_1$ $X_2$

Lebih khusus lagi, ketika Anda menyatakan "tidak ada variabel dengan korelasi yang baik dengan variabel yang diprediksi", sepertinya Anda memeriksa korelasi berpasangan antara setiap variabel independen dengan variabel dependen, Y. Hal ini dimungkinkan ketika membawa penting , informasi baru dan membantu menjernihkan pengganggu antara dan Y. dengan itu membingungkan, meskipun, kita mungkin tidak melihat korelasi pair-wise linear antara dan Y. Anda juga mungkin ingin memeriksa hubungan antara korelasi parsial dan regresi berganda $X_2$ $X_1$ $X_1$ $\rho_{x_{1},y|x_{2}}$ . Regresi berganda memiliki hubungan yang lebih dekat dengan korelasi parsial daripada korelasi berpasangan, . $y=\beta_1X_1 +\beta_2X_2 + \epsilon$ $\rho_{x_{1},y}$

— Ray Yang
sumber

$X$ $X$ $X$ $X$ $X$ $X={x_1,x_2 ...}$ $o_i$ $p_i$ $c_i$ $\sum c_io_i =0$ $\sum c_ix_i$ $\sum c_io_i =0$ $\sum c_ix_i$ $X_1$ $X_2$ $E$ $X'_1$ $X'_2$ $E$ $X_1$ $X'_1$ $X_2$ $X'_2$ $E$ $X'_1$ $X'_2$ $Y$ $Y$

— Akumulasi
sumber