Apa artinya (secara intuitif) untuk mempertahankan variabel lain konstan dalam regresi?

9

Saya mencari penjelasan 1) mekanis dan 2) intuitif untuk bagaimana efek dari variabel individu ditentukan memegang variabel lain konstan.

Dalam contoh menggunakan data survei, apa sebenarnya artinya mengatakan:

"Dengan usia, jenis kelamin, dan penghasilan yang konstan, pengaruh pendidikan adalah ___"

Pemahaman saya adalah bahwa dengan regresi kami berusaha untuk menciptakan kembali pengaturan eksperimental, dan dalam contoh di atas mencoba untuk membandingkan sub-populasi dengan usia, jenis kelamin, pendapatan, dll yang sama, tetapi dengan tingkat pendidikan yang berbeda, dan memperkirakan perbedaan dalam berarti dari subpopulasi tersebut. Pertanyaan:

Apakah intuisi ini benar?
Apakah subpopulasi ini tentu ada? Bagaimana jika survei tidak mengandung responden dengan nilai yang persis sama pada kontrol?
Bagaimana ketidakpastian tentang perkiraan subpopulasi ini ditentukan?

regression interpretation

— FlacoT
sumber

1

Terkait erat: Bagaimana tepatnya satu "kontrol untuk variabel lain"? Mungkin juga menarik: Apakah ada perbedaan antara 'mengendalikan untuk' dan 'mengabaikan' variabel lain dalam regresi berganda?

— gung - Reinstate Monica

Apakah turunan parsial "intuitif" bagi Anda?

— Aksakal

5

Intuisi adalah subjek yang rumit, tergantung pada latar belakang orang tersebut. Sebagai contoh, saya belajar statistik setelah mempelajari fisika matematika. Bagi saya intuisi adalah turunan parsial. Pertimbangkan model regresi

y_{saya} = Sebuah + b_{x} x_{saya} + b_{z} z_{saya} + ε_{saya}

$y_i=a+b_x x_i+b_z z_i+\varepsilon_i$ Ini dapat dinyatakan kembali sebagai

y_{saya} = f (x_{saya}, z_{saya}) + ε_{saya},

$y_i=f(x_i,z_i)+\varepsilon_i,$ dimana

f (x, z) = b_{x} x + b_{z} z

$f(x,z)=b_x x + b_z z$

Ambil turunan total dari fungsi $f()$ :

d f = \frac{\partial f}{\partial x} d x + \frac{\partial f}{\partial z} d z

$df=\frac{\partial f}{\partial x}dx+\frac{\partial f}{\partial z}dz$

Ini adalah bagaimana turunan parsial wrt $x$ didefinisikan:

\frac{\partial f}{\partial x} = lim_{Δ x \to 0} \frac{f (x + Δ x, z) - f (x, z)}{Δ x}

$\frac{\partial f}{\partial x}=\lim_{\Delta x\to 0} \frac{f(x+\Delta x,z)-f(x,z)}{\Delta x}$ Anda memegang

z

$z$ konstan, dan menjauh dari

x

$x$ . Derivatif parsial memberitahu Anda seberapa sensitif

f

$f$ untuk perubahan

x

$x$ . Anda dapat melihat bahwa beta (koefisien) adalah kemiringan pada variabel yang diminati:

\frac{\partial f}{\partial x} = b_{x}

$\frac{\partial f}{\partial x}=b_x$

Dengan kata lain, dalam model linier sederhana koefisien Anda adalah turunan parsial (kemiringan) berkaitan dengan variabel. Itulah arti "memegang konstan" bagi saya secara intuitif.

— Aksakal
sumber

1

Saya menghargai intuisi ini, tetapi bagian dari deskripsi Anda mungkin secara tak terduga menjadi masalah bagi sebagian orang. Saya akan menarik perhatian Anda pada (1) cara mendefinisikan turunan parsial untuk regresi kategori dan (2) memutuskan bagaimana mendefinisikan turunan parsial ketika regressor adalah fungsi dari regressor lain, seperti dalam regresi polinomial atau ketika interaksi dimasukkan.

— whuber

2

Intuisi itu benar pada dasarnya. Saya akan mencoba menjawab dengan cara yang singkat dan intuitif juga-
Sub populasi tersebut pasti ada karena Anda menahannya secara konstan dengan: (a) mengambil sampel subjek Anda berkenaan dengan kovariat berspekulasi Anda ATAU (b) Anda memberi batasan pada variabilitasnya (yaitu varians = 0). Ini dilakukan dengan mengambil 1 kelompok (mis. Pria saja, berambut pirang, dll.) Jika variabel kategorinya atau dengan mengambil rata-rata kovariat yang diberikan (usia, pendidikan, pendapatan, dan sebagainya).

— pengguna122677
sumber

6

Jawaban ini tampaknya mengecualikan semua aplikasi regresi yang mungkin untuk dataset non-eksperimental atau observasi (kecuali mungkin yang dapat diperbesar dengan lebih banyak pengamatan, yang jarang terjadi). Karena itu tampaknya tidak perlu membatasi, dan jadi mungkin tidak adil terhadap konsep yang mendasarinya.

— whuber

2

Ketika user122677 menjawab, intuisi itu benar: Dalam regresi linier, setiap koefisien adalah jumlah perubahan dalam hasil ketika satu nilai variabel ditingkatkan oleh satu unit sementara semua variabel lainnya tetap konstan. Dengan kata lain, koefisien adalah turunan parsial dari prediksi model terhadap masing-masing variabel.

Bagaimanapun, berhati-hatilah bahwa jika model kita memasukkan variabel interaksi tidak dapat diubah tanpa mengubah interaksi dan karenanya interpretasi satu koefisien ini tidak masuk akal sebagai perubahan nyata. Hal yang sama terjadi dengan regresi polinomial, di mana tidak ada istilah yang dapat berubah tanpa mengubah istilah lainnya.

Tentang keberadaan sub-populasi itu, mereka tidak perlu ada. Dalam beberapa desain eksperimental mereka bisa ada, tetapi dalam studi observasional dengan variabel kontinu mereka sangat tidak mungkin ada. Sebagai contoh:

Dalam desain lengkap eksperimen dengan variabel biner (atau diskrit hingga) semua kombinasi nilai variabel ada dalam sampel.
Dalam penelitian observasional dengan variabel kontinu, setiap observasi sangat mungkin untuk mendapatkan nilai unik untuk semua variabel dan karenanya tidak mungkin ada dua elemen dengan semua variabel sama kecuali satu.

— Pere
sumber