Apakah korelasi antar variabel dalam suatu interaksi itu penting?

Misalkan Anda cocok dengan seorang model $y = x_1 + x_2 + x_1\times x_2$. Adakah implikasi praktis untuk estimasi efek interaksi jika$x_1$ dan $x_2$ berkorelasi?

Saya mengerti mungkin ada masalah collinearity jika $x_1$ dan $x_2$ sangat berkorelasi tetapi itu seharusnya tidak mempengaruhi istilah interaksi kan?

Ada alasan mengapa konsultan statistik Anda tidak dapat menjelaskan mengapa memasukkan interaksi ke dalam model linier dapat mempengaruhi struktur korelasi: itu tergantung pada keadaan dan umumnya tidak benar bahwa ada efek buruk. Lihat saja dataset yang ditunjukkan dalam matriks scatterplot di bawah ini untuk melihat semua cara yang berbeda dari dua variabel yang mungkin terkait dengan produk mereka.

Sisa dari posting ini menjelaskan bagaimana angka-angka itu diproduksi dan mungkin memberikan lebih banyak wawasan tentang situasi.

---

Pertama, mari kita perjelas: menulis $x_3=x_1x_2,$ Anda memiliki regresi berganda yang melibatkan tiga variabel $x_1, x_2, x_3.$ Ada atau tidaknya masalah collinearity tergantung pada hubungan linear antara $x_i.$ Itu universal.

Yang istimewa dari masalah ini adalah hubungan keduanya$x_3$ Dan lainnya $x_i;$ yaitu itu $x_3 = x_1x_2.$ Jadi, jika ada yang menyarankan Anda untuk berhati-hati, itu pasti karena harapan bahwa hubungan multiplikasi ini secara matematis memerlukan semacam multikolinieritas di antara semua$x_i.$

Ini tidak benar, seperti yang dapat ditunjukkan dengan menunjukkan semua pola yang mungkin. Saya tidak ingin melelahkan Anda dengan kesedihan melalui semua kemungkinan, jadi izinkan saya membuat sketsa beberapa yang paling ilustratif. Alat dasar yang akan saya pakai dalam penelitian ini adalah observasi yang berkorelasi antar variabel$x_1, x_2$ tetap tidak berubah ketika $x_i$secara terpisah mengalami transformasi linier. Artinya, kita dapat dengan bebas mengalikan variabel dengan konstanta dan menambahkan konstanta lain ke hasil tanpa mengubah korelasinya. Namun, operasi ini dapat sangat mengubah korelasi di antara keduanya$x_1x_2$ dan $x_i.$

(Hampir) produk konstan

Itu mungkin untuk $x_1x_2$menjadi konstan (yang, ketika regresi menyertakan konstanta, akan bermasalah). Untuk membuat contoh, cukup buat nilai bukan nol untuk$x_1$ dan mendefinisikan $x_2 = c/x_1.$ Produk mereka sama $c$ oleh konstruksi.

Anda dapat mengganggu contoh ini dengan mengubah $c\ne 0$ menjadi variabel acak dengan nilai yang mendekati $c.$ Melakukan ini akan memperkenalkan sedikit korelasi antara $x_i$dan produk mereka, tetapi tidak banyak. Di sini, misalnya, adalah contoh di mana$x_1$ diambil dari Gamma$(5)$ distribusi dan $c$ memiliki distribusi normal dengan mean $1$ dan standar deviasi keadilan $1/100:$

walaupun $x_i$ memiliki korelasi $\rho_{1\cdot 2}=-0.87$ dalam contoh ini, korelasinya dengan $x_1x_2$ hanya $-0.06$ dan $0.00.$

Oleh karena itu, meskipun mungkin ada sedikit masalah dalam menggunakan keduanya $x_1$ dan $x_2$ dalam model linier, termasuk $x_1x_2$ tidak mungkin memperburuk itu.

Produk tidak konstan

Untuk membuat perhitungan lebih jelas, kami mungkin juga menganggap $x_i$memiliki varian unit. Biarkan varians dari$x_1x_2$ menjadi $\tau^2$ dan tulis $\rho_{12\cdot i}$ untuk korelasi antara $x_1x_2$ dan $x_i.$ Mari kita hitung apa yang terjadi pada korelasi ini ketika konstanta $c_i$ dikurangkan dari $x_i.$ Karena $x_i$ memainkan peran simetris sempurna (hanya swap "$1$"untuk"$2$"Dalam indeks), cukup untuk menghitung korelasinya dengan $x_1:$

$$\eqalign{ \operatorname{Cor}((x_1-c_1)(x_2-c_2), x_1) &= \frac{\operatorname{Cov} ((x_1-c_1)(x_2-c_2), x_1)}{\sqrt{\operatorname{Var}{(x_1-c_1)(x_2-c_2)}\operatorname{Var}{x_1}}} \\ &= \frac{\operatorname{Cov} (x_1x_2 - c_2x_1 - c_1x_2+c_1c_2, x_1)}{\sqrt{\operatorname{Var}(x_1x_2 - c_1x_2 - c_2x_1 + c_1c_2)}} \\ &= \frac{\tau\rho_{12\cdot 1}-c_2-c_1\rho_{1\cdot 2}}{\sqrt{\tau^2 - c_1\rho_{1\cdot 2} - c_2 - 2c_1\rho_{12\cdot 2} - 2c_2\rho_{12\cdot 1} + 2c_1c_2\rho_{1\cdot 2}}}.\tag{*} }$$

Tidak ada korelasi dengan produk

Terlepas dari apa korelasi antara keduanya $x_i$mungkin, kita bisa memilih$(c_1,c_2)$ untuk membuat produk tidak berkorelasi dengan $x_i.$

Dari analisis sebelumnya, ini akan tercapai ketika pembilang $(*)$ adalah nol untuk $i=1,2:$

$$\left\{\matrix{0 = \tau\rho_{12\cdot 1} -c_2 - c_1\rho_{1\cdot 2} \\ 0 = \tau\rho_{12\cdot 2} -c_1 - c_2\rho_{1\cdot 2}}\right.$$

Kapan $\rho_{1\cdot 2}^2 \ne 1,$ sistem persamaan ini di $(c_1,c_2)$memiliki solusi unik. Di sini, misalnya, adalah sebar sebaran dataset$100$ nilai di mana $(x_i)$ memiliki distribusi normal bivariat dengan korelasi $\rho_{1\cdot 2}=-0.99$ tetapi $x_i$ memiliki korelasi nol dengan $x_1x_2$:

Karena $x_1x_2$ tidak berkorelasi dengan ("ortogonal ke") keduanya $x_i,$ memasukkannya ke dalam model linear apa pun tidak akan menimbulkan masalah sama sekali.

Seperti contoh ini menyarankan, situasi ini adalah norma karena cenderung terjadi ketika $x_i$telah terpusat. Dengan kata lain, jika Anda memusatkan variabel Anda sebelum membuat interaksi Anda biasanya tidak akan mengalami masalah dengan collinearity tambahan.

Korelasi yang kuat dengan produk

Persamaan $(*)$juga dapat diselesaikan untuk menghasilkan korelasi yang kuat. Kita bahkan tidak perlu melangkah lebih jauh untuk menyelesaikan persamaan dengan tepat (yang menantang), karena ada jalan pintas sederhana: dengan menskalakan kembali salah satu$x_i$menjadi hampir nol dan menambahkan konstanta untuk itu, kami tidak akan mengubah korelasinya, tetapi kemudian produk akan hampir sama dengan kelipatan dari yang lain dari$x_i,$ dengan demikian membuat mereka sangat berkorelasi.

Ini adalah contoh berdasarkan yang sebelumnya. Dalam contoh ini,$x_2$ diubah menjadi $1 + x_2 / 100$ maka $x_1x_2$ kira-kira sama dengan $x_1,$ membuatnya sangat berkorelasi positif $x_1x_2.$ Memang, $\rho_{12\cdot 1} = 0.999878$ dan $\rho_{12\cdot 2} = -0.9898793$ dalam contoh ini.