Apa arti "semua sama dengan" dalam regresi berganda?

Ketika kita melakukan beberapa regresi dan mengatakan kita sedang melihat perubahan rata-rata dalam variabel untuk perubahan dalam variabel , mempertahankan semua variabel lain konstan, nilai apa yang kita pegang pada variabel lain konstan? Maksud mereka? Nol? Ada nilai? $y$ $x$

Saya cenderung berpikir itu ada nilainya; hanya mencari klarifikasi. Jika ada yang punya bukti, itu akan bagus juga.

— EconStats
sumber

Saya menemukan contoh 10 dalam makalah Peter Kennedy yang sangat membantu dalam memahami hal ini.

— Dimitriy V. Masterov

Ya, sedikit tentang meningkatkan jumlah kamar sambil menjaga kaki persegi konstan adalah titik yang benar-benar jeli. Makalah itu sebenarnya adalah tambang emas dari ide-ide berguna, itu masuk dalam catatan PhD.

— EconStats

Ini sebenarnya pertanyaan yang sangat menarik, saya bertanya-tanya apakah para ekonom bertanya pada diri sendiri apa arti "ceteris paribus".

— mugen

Kamu benar. Secara teknis, itu adalah nilai apa pun . Namun, ketika saya mengajarkan ini, saya biasanya memberi tahu orang-orang bahwa Anda mendapatkan efek perubahan satu unit dalam ketika semua variabel lain diadakan pada masing-masing cara. Saya percaya ini adalah cara umum untuk menjelaskannya yang tidak spesifik untuk saya. $X_j$

Saya biasanya melanjutkan dengan menyebutkan bahwa jika Anda tidak memiliki interaksi apa pun, akan menjadi efek dari perubahan satu unit dalam , tidak peduli apa nilai dari variabel Anda yang lain. Tapi saya suka memulai dengan formulasi yang berarti. Alasannya adalah bahwa ada dua efek termasuk beberapa variabel dalam model regresi. Pertama, Anda mendapatkan efek mengendalikan variabel lain (lihat jawaban saya di sini ). Yang kedua adalah bahwa kehadiran variabel lain (biasanya) mengurangi varians residual dari model, membuat variabel Anda (termasuk $\beta_j$ $X_j$ $X_j$ $X_j$ ) 'lebih signifikan'. Sulit bagi orang untuk memahami bagaimana ini bekerja jika variabel lain memiliki nilai yang ada di semua tempat. Sepertinya itu akan meningkatkan variabilitas entah bagaimana. Jika Anda berpikir untuk menyesuaikan setiap titik data ke atas atau ke bawah untuk nilai masing-masing variabel lain hingga semua variabel dipindahkan ke masing-masing artinya, lebih mudah untuk melihat bahwa variabilitas residual telah berkurang. $X$

Saya tidak bisa berinteraksi sampai satu atau dua kelas setelah saya memperkenalkan dasar-dasar regresi berganda. Namun, ketika saya sampai pada mereka, saya kembali ke materi ini. Hal di atas berlaku ketika tidak ada interaksi. Ketika ada interaksi, itu lebih rumit. Dalam hal ini, variabel yang berinteraksi [s] dipertahankan konstan (sangat spesifik) pada , dan tanpa nilai lainnya. $0$

Jika Anda ingin melihat bagaimana ini dimainkan secara aljabar, itu agak mudah. Kita bisa mulai dengan kasus tanpa interaksi. Mari kita tentukan perubahan pada ketika semua variabel lain dipertahankan konstan pada masing-masing artinya. Tanpa kehilangan keumuman, katakanlah ada tiga variabel dan kami tertarik untuk memahami bagaimana perubahan dalam dikaitkan dengan perubahan satu unit di , memegang dan konstan pada masing-masing artinya: $\hat Y$ $X$ $\hat Y$ $X_3$ $X_1$ $X_2$

\begin{aligned} {\hat{Y}}_{saya} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 saya} \\ {\hat{Y}}_{{saya}^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 saya} + 1) \\ kurangi persamaan pertama dari persamaan kedua: \\ {\hat{Y}}_{{saya}^{'}} - {\hat{Y}}_{saya} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 saya} + 1) - {\hat{β}}_{3} X_{3 saya} \\ Δ Y & = {\hat{β}}_{3} X_{3 saya} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 saya} \\ Δ Y & = {\hat{β}}_{3} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$

Sekarang jelas bahwa kami dapat memberikan nilai apa pun untuk dan dalam dua persamaan pertama, selama kami memberikan nilai yang sama untuk ( ) di keduanya. Yaitu, selama kita memegang dan konstan . $X_1$ $X_2$ $X_1$ $X_2$ $X_1$ $X_2$

Di sisi lain, itu tidak berfungsi seperti ini jika Anda berinteraksi. Di sini saya menunjukkan kasus di mana ada istilah interaksi : $X_1X_3$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) + {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 saya} + 1) - {\hat{β}}_{3} X_{3 saya} + \\ {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 saya} + 1) - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 saya} \\ Δ Y & = {\hat{β}}_{3} X_{3 saya} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 saya} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 saya} + {\hat{β}}_{4} {\bar{X}}_{1} - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 saya} \\ Δ Y & = {\hat{β}}_{3} + {\hat{β}}_{4} {\bar{X}}_{1} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$

Dalam hal ini, tidak mungkin untuk mempertahankan semua yang lain konstan. Karena istilah interaksi adalah fungsi dari dan , tidak mungkin untuk mengubah tanpa istilah interaksi berubah juga. Dengan demikian, sama dengan perubahan terkait dengan perubahan satu unit di hanya ketika variabel yang berinteraksi ( ) disimpan pada bukannya (atau nilai lain selain ), dalam hal ini istilah terakhir dalam persamaan bawah keluar. $X_1$ $X_3$ $X_3$ $\hat\beta_3$ $\hat Y$ $X_3$ $X_1$ $0$ $\bar X_1$ $0$

Dalam diskusi ini, saya telah berfokus pada interaksi, tetapi lebih umum, masalahnya adalah ketika ada variabel yang merupakan fungsi dari yang lain sehingga tidak mungkin untuk mengubah nilai yang pertama tanpa mengubah nilai masing-masing dari variabel lain . Dalam kasus seperti itu, arti menjadi lebih rumit. Misalnya, jika Anda memiliki model dengan dan , maka adalah turunan memegang semua yang lain sama, dan memegang (lihat jawaban saya di sini ). Selain itu, formulasi yang lebih rumit juga dimungkinkan. $\hat\beta_j$ $X_j$ $X_j^2$ $\hat\beta_j$ $\frac{dY}{dX_j}$ $X_j=0$

— gung - Reinstate Monica
sumber

Terima kasih gung, jawaban ini bagus untuk beberapa level. Pertama itu menjawab poin utama saya tertarik. Kedua, Anda memperkirakan apa pertanyaan tindak lanjut saya akan, karena saya akan bertanya bagaimana ini berubah dengan diperkenalkannya istilah interaksi. Terima kasih untuk matematika juga. Saya tahu pertanyaan ini agak mendasar tetapi saya merasa Anda tidak akan pernah terlalu eksplisit dengan konsep-konsep ini.

— EconStats

Sama-sama, @EconStats. Tidak ada masalah dengan memasukkan matematika, kadang-kadang membuatnya lebih mudah untuk memahami apa yang sedang terjadi.

— gung - Reinstate Monica

Yah saya harus mengatakan bahwa ketika Anda mengurangi persamaan pertama dari persamaan kedua akhirnya dikonfirmasi pikiran asli saya bahwa tidak masalah apa nilai dan , asalkan sama di kedua persamaan. Tampaknya sangat jelas bagi saya untuk mengetahui, tetapi saya tidak pernah berpikir untuk menghitung seperti itu sebelumnya. Saat bola lampu yang pasti bagi saya.

X_{2}

$X_2$

X_{3}

$X_3$

β

$\beta$

— EconStats

Anda juga dapat mengambil turunan wrt dan itu akan membawa Anda ke tempat yang sama, tetapi ini adalah matematika yang lebih mudah (pada dasarnya aljabar sekolah menengah), sehingga akan dapat diakses oleh audiens yang lebih luas.

Y

$Y$

X_{j}

$X_j$

— gung - Reinstate Monica

@ Beetroot, jika saya mengerti Anda dengan benar, Anda cukup memegangnya pada level yang ditentukan. (Kalau tidak, Anda mungkin mengajukan ini sebagai pertanyaan baru.)

— gung - Reinstate Monica

Matematikanya sederhana, ambil saja perbedaan antara 2 model dengan salah satu variabel x yang diubah oleh 1 dan Anda akan melihat bahwa tidak masalah apa variabel-variabel lainnya (mengingat tidak ada interaksi, polinomial, atau istilah rumit lainnya).

Satu contoh:

$y_{[1]} = b_0 + b_1 \times x_1 + b_2 \times x_2$

$y_{[2]} = b_0 + b_1 \times (x_1 + 1) + b_2 \times x_2$

$y_{[2]} - y_{[1]} = b_0 - b_0 + b_1\times x_1 - b_1\times x_1 + b_1 \times 1 + b_2 \times x_2 - b_2 \times x_2 = b_1$

— Greg Snow
sumber

Saya yakin Anda mengacu pada ketergantungan pada kovariat ( ). Jadi jika modelnya adalah efek pada semua hal lain dianggap sama akan menjadi untuk dengan semua lainnya tetap konstan pada nilai berapa pun. $X_i$

Y = β_{0} + β_{1} X_{1} + β_{2} X_{2}

$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$

X_{i}

$X_i$

Y

$Y$

\frac{Δ Y}{Δ X_{i}}

$\frac{\Delta{Y}}{\Delta{X_i}}$

Δ X_{i}

$\Delta{X_i}$

X_{j}

$X_j$

Ingatlah bahwa mungkin dan bergantung (mis. Fungsi satu sama lain) tanpa harus menunjukkan interaksi yang signifikan dalam model linier ( di ). $X_1$ $X_2$ $\beta_{12}=0$ $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$

Sama seperti garis singgung yang menarik di sini adalah contohnya: Biarkan dan maka jelas setiap perubahan dalam akan mempengaruhi . Namun kovarians di antara keduanya adalah nol. $X_1\sim N(0,\sigma_1^2)$ $X_2=X_1^{2}+N(0,\sigma_2^2)$ $X_1$ $X_2$

c Hai v (X_{1}, X_{2}) = E (X_{1} X_{2}) - E (X_{1}) E (X_{2})

$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$

= E [X_{1} (X_{1}^{2} + Sebuah)] - E (X_{1}) . E (X_{1}^{2} - Sebuah) w saya t h Sebuah \sim N (0, σ_{2}^{2})

$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$

= E (X_{1}^{3}) - E (X_{1} . Sebuah) - 0. E (X_{1}^{2} - Sebuah) = 0 - 0 - 0 = 0

$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$

Jadi dalam kenyataannya perubahan dalam akan dikaitkan dengan perubahan dalam dan bahwa tidak akan mencakup apa yang sebenarnya akan terjadi jika Anda mengubah . Tetapi masih akan digambarkan sebagai efek pada semua hal dianggap sama. $X_1$ $X_2$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_1$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_i$ $Y$

Ini sebanding dengan perbedaan antara turunan penuh dan turunan parsial (analog dari ) dalam persamaan diferensial. $\frac{\Delta{Y}}{\Delta{X_i}}$

— Hans Roggeman
sumber

Terima kasih Hans, saya benar-benar mencoba untuk mendapatkan pada titik yang dibuat gung tetapi ini adalah contoh yang baik ketika kedua variabel tergantung.

— EconStats