Regresi moderat: Mengapa kita menghitung istilah * produk * di antara para prediktor?

12

Analisis regresi moderat sering digunakan dalam ilmu sosial untuk menilai interaksi antara dua atau lebih prediktor / kovariat.

Biasanya, dengan dua variabel prediktor, model berikut ini diterapkan:

$Y = β_0 + β_1*X + β_2*M + β_3*XM + e$

Perhatikan bahwa uji moderasi dioperasionalkan oleh istilah produk $XM$ (perkalian antara variabel independen $X$ dan variabel moderator $M$ ). Pertanyaan saya yang sangat mendasar adalah: mengapa kita benar-benar menghitung istilah produk antara $X$ dan $M$ ? Mengapa tidak, misalnya, perbedaan absolut $|M-X|$ atau hanya jumlah $X + M$ ?

Menariknya, Kenny menyinggung masalah ini di sini http://davidakenny.net/cm/moderation.htm dengan mengatakan: "Seperti yang akan dilihat, tes moderasi tidak selalu dioperasionalkan oleh istilah produk XM" tetapi tidak ada penjelasan lebih lanjut diberikan . Ilustrasi atau bukti formal akan mencerahkan, saya kira / harapan.

regression interaction

— penyebut
sumber

12

"Moderator" memengaruhi koefisien regresi $Y$ terhadap $X$ : mereka mungkin berubah ketika nilai-nilai perubahan moderator. Dengan demikian, secara umum penuh, model regresi moderasi sederhana adalah

E (Y) = α (M) + β (M) X

$\mathbb{E}(Y) = \alpha(M) + \beta(M)X$

mana dan adalah fungsi dari moderator daripada konstanta tidak terpengaruh oleh nilai-nilai . $\alpha$ $\beta$ $M$ $M$

Dalam semangat yang sama di mana regresi didasarkan pada pendekatan linear dari hubungan antara dan , kita dapat berharap bahwa baik dan adalah - setidaknya sekitar - fungsi linear seluruh rentang nilai dalam data: $X$ $Y$ $\alpha$ $\beta$ $M$ $M$

\begin{aligned} E (Y) & = α_{0} + α_{1} M + O (M^{2}) + (β_{0} + β_{1} M + O (M^{2})) X \\ = α_{0} + β_{0} X + α_{1} M + β_{1} M X + O (M^{2}) + O (M^{2}) X . \end{aligned}

$\eqalign{ \mathbb{E}(Y) &= \alpha_0 + \alpha_1 M + O(M^2) + (\beta_0 + \beta_1 M + O(M^2))X \\ &= \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + O(M^2) + O(M^2)X. }$

Menjatuhkan istilah nonlinier ("big-O"), dengan harapan mereka terlalu kecil, memberikan model interaksi multiplikatif (bilinear)

\begin{matrix} (1) & E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X . \end{matrix}

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX.\tag{1}$

Derivasi ini menunjukkan interpretasi yang menarik dari koefisien: adalah tingkat di mana mengubah intersep sedangkan adalah tingkat di mana mengubah kemiringan . ( dan adalah kemiringan dan mencegat ketika (secara formal) disetel ke nol.) adalah koefisien dari "istilah produk" . Itu menjawab pertanyaan dengan cara ini: $\alpha_1$ $M$ $\beta_1$ $M$ $\alpha_0$ $\beta_0$ $M$ $\beta_1$ $MX$

Kita model moderasi dengan istilah produk ketika kita mengharapkan moderator akan (kira-kira, rata-rata) memiliki hubungan linear dengan kemiringan vs . $MX$ $M$ $Y$ $X$

Yang menarik adalah bahwa derivasi ini menunjukkan jalan menuju perluasan alami model, yang mungkin menyarankan cara untuk memeriksa goodness of fit. Jika Anda tidak peduli dengan nonlinier di tahu atau menganggap bahwa model akurat - maka Anda ingin memperpanjang model untuk mengakomodasi persyaratan yang dijatuhkan: $X$ $(1)$

E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X + α_{2} M^{2} + β_{2} M^{2} X .

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + \alpha_2M^2 + \beta_2 M^2X.$

Menguji hipotesis mengevaluasi kebaikan yang sesuai. Memperkirakan dan dapat menunjukkan dengan cara apa model mungkin perlu diperluas: untuk memasukkan nonlinier dalam (ketika ) atau hubungan moderasi yang lebih rumit (ketika ) atau mungkin kedua. (Perhatikan bahwa tes ini tidak akan disarankan oleh perluasan rangkaian daya dari fungsi generik .) $\alpha_2=\beta_2=0$ $\alpha_2$ $\beta_2$ $(1)$ $M$ $\alpha_2 \ne 0$ $\beta_2 \ne 0$ $f(X,M)$

Akhirnya, jika Anda menemukan bahwa koefisien interaksi tidak berbeda secara signifikan dari nol, tetapi bahwa kecocokannya adalah nonlinier (sebagaimana dibuktikan dengan nilai signifikan dari ), maka Anda akan menyimpulkan (a) ada moderasi tetapi ( b) itu tidak dimodelkan oleh istilah , tetapi sebaliknya oleh beberapa istilah tingkat tinggi yang dimulai dengan . Ini mungkin jenis fenomena yang dirujuk Kenny. $\beta_1$ $\beta_2$ $MX$ $M^2X$

— whuber
sumber

8

Jika Anda menggunakan jumlah prediktor untuk memodelkan interaksi mereka, persamaan Anda adalah:

\begin{array}{rcl} Y & = & β_{0} + β_{1} X + β_{2} M + β_{3} (X + M) + e \\ = & β_{0} + β_{1} X + β_{2} M + β_{3} X + β_{3} M + e \\ = & β_{0} + (β_{1} + β_{3}) X + (β_{2} + β_{3}) M + e \\ = & β_{0} + β_{1}^{'} X + β_{2}^{'} M + e \end{array}

$\begin{eqnarray} Y &=& \beta_0 + \beta_1X + \beta_2M + \beta_3(X + M) + e\\ &=& \beta_0 + \beta_1X + \beta_2M + \beta_3X + \beta_3M + e\\ &=& \beta_0 + (\beta_1 + \beta_3)X + (\beta_2 + \beta_3)M + e \\ &=& \beta_0 + \beta_1'X + \beta_2'M + e \end{eqnarray}$

di mana dan . Karenanya, model Anda tidak akan berinteraksi sama sekali. Jelas, ini bukan masalahnya dengan produk. $\beta_1'=\beta_1+\beta_3$ $\beta_2'=\beta_2+\beta_3$

Ingat definisi nilai absolut:

| X - M | = {\begin{cases} X - M, & X \geq M \\ M - X, & X < M \end{cases}

$|X-M| = \begin{cases} X-M, & X \geq M\\ M-X, & X < M \end{cases}$

Meskipun Anda dapat mengurangi model ke yang hanya berisi istilah dan , menggunakan def. dari, nilai absolut adalah "bentuk moderasi khusus yang tidak mungkin realistis dalam banyak situasi", seperti yang ditunjukkan dalam komentar di bawah ini. $\beta_0 + \beta_1X + \beta_2M + \beta_3|X-M| + e$ $X$ $M$ $|X-M|$

— Milos
sumber

1

Sebenarnya, termasukIstilah ini jelas merupakan bentuk moderasi: nilai berubah . Namun, ini adalah bentuk moderasi khusus dan terbatas yang tidak mungkin realistis dalam banyak situasi. Tidak benar untuk mengatakan bahwa model seperti itu memiliki "hanya efek utama."

| X - M |

$|X-M|$

M

$M$

β_{2}

$\beta_2$

— whuber

1

Ya, Anda benar,adalah bentuk moderasi, saya terbawa oleh transformasi dan akan mengedit jawaban yang sesuai. Terima kasih telah menunjukkan ini.

| X - M |

$|X-M|$

— Milos

@ Milos: Contoh Anda tentang jumlah prediktor adalah pembuka mata, yang agak memalukan, saya harus mengatakan karena saya seharusnya sudah menyadari implikasi matematika;) whuber: Sejauh yang saya mengerti, nilai absolut hanya berguna ketika kedua variabel prediktor diukur dalam unit yang sama (misalnya dua tes psikometri, menggunakan metrik yang sama, seperti skor-z atau skor-T). Perbedaan absolut antara X dan M adalah metrik yang berguna , meskipun bukan satu-satunya yang mungkin (yaitu istilah prodcut juga bisa digunakan).

— penyebut

6

Anda tidak akan menemukan bukti formal untuk menggunakan moderator multiplikatif. Anda dapat mendukung pendekatan ini dengan cara lain. Misalnya, lihat ekspansi Taylor-MacLaurin dari fungsi : $f(X,M)$

f (X, M) = f (0, 0) + \frac{\partial f (0, 0)}{\partial T} T + \frac{\partial f (0, 0)}{\partial M} M + \frac{\partial^{2} f (0, 0)}{\partial T \partial M} T M + \frac{\partial^{2} f (0, 0)}{2 \partial T^{2}} T^{2} + \frac{\partial^{2} f (0, 0)}{2 \partial M^{2}} M^{2} \dots

$f(X,M)=f(0,0)+\frac{\partial f(0,0)}{\partial T} T+\frac{\partial f(0,0)}{\partial M} M+\frac{\partial^2 f(0,0)}{\partial T\partial M} TM +\frac{\partial^2 f(0,0)}{2\partial T^2} T^2 +\frac{\partial^2 f(0,0)}{2\partial M^2} M^2\dots$

Jika Anda fungsi formulir ini ke dalam persamaan Taylor, Anda mendapatkan ini: $f(X,M)=\beta_0+\beta_XX+\beta_MM+\beta_{XM}XM$

f (X, M) = β_{0} + β_{X} X + β_{M} M + β_{X M} X M

$f(X,M)=\beta_0+\beta_XX +\beta_MM +\beta_{XM}XM$

Jadi, alasannya di sini adalah bahwa bentuk multiplikasi khusus dari moderasi ini pada dasarnya adalah pendekatan Taylor urutan kedua dari hubungan moderasi generik $f(X,M)$

UPDATE: jika Anda memasukkan istilah kuadrat, seperti yang disarankan @whuber maka ini akan terjadi: tancapkan ini ke Taylor:

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM+b_{X2}X^2 +b_{M2}M^2$

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM +b_{X2}X^2 +b_{M2}M^2$

Ini menunjukkan bahwa model baru kami dengan istilah kuadrat sesuai dengan pendekatan Taylor orde kedua penuh, tidak seperti model moderasi asli . $g(X,M)$ $f(X,M)$

— Aksakal
sumber

Karena dasar argumen Anda adalah ekspansi Taylor, mengapa Anda tidak memasukkan dua istilah kuadrat lainnya dan ? Benar, mereka bukan bentuk moderasi, tetapi dimasukkannya mereka dalam model biasanya akan mempengaruhi .

X^{2}

$X^2$

M^{2}

$M^2$ $\beta_{XM}$

— whuber

@whuber, saya memutuskan untuk membuat posting singkat - itulah alasan utama. Kalau tidak, saya mulai menulis tentang preferensi saya untuk memasukkan istilah urutan kedua setiap kali Anda memiliki istilah lintas, lalu hentikan.

— Aksakal