Apa hubungan antara fungsi dan regresi linier?

Pertimbangkan fungsinya

$r (x) = E (Y ∣ X = x)$ $r(x) = \mathbb{E}(Y \mid X = x)$

Ini telah disebut fungsi regresi dalam buku teks yang saya gunakan. Saya mencoba mencari tahu hubungan antara fungsi ini dan model regresi linier klasik.

Jadi, saya tahu bahwa itu adalah teorema * yang dapat kita tulis

Y = r (X) + ϵ

$Y = r(X) + \epsilon$

untuk beberapa variabel acak st . $\epsilon$ $\mathbb{E}(\epsilon) = 0$

Sekarang anggaplah kita punya

$Y = β_{0} + β_{1} X + ϵ$ $Y = \beta_0 + \beta_1 X + \epsilon$

Ini adalah fungsi regresi 1 dimensi klasik (dengan asumsi dan meminimalkan jumlah residu kuadrat). $\beta_0$ $\beta_1$

Pertanyaan: Apakah kemudian teorema matematika bahwa jika didefinisikan seperti di atas, itu $Y$

r (X) = E (Y ∣ X) = (β_{0} + β_{1} X) ?

$r(X) = \mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X)?$

Dan apakah ini sebabnya fungsi disebut "fungsi regresi"? $\mathbb{E}(Y \mid X)$

EDIT: Teorema yang saya gunakan adalah sebagai berikut (dari Semua Statistik hal. 89):

Model regresi terkadang ditulis sebagai

$Y = r (X) + ϵ$ $Y = r(X) + \epsilon$
di mana . Kami selalu dapat menulis ulang model regresi dengan cara ini. Untuk melihat ini, tentukan dan karenanya . Selain itu, . $\mathbb{E}(\epsilon) = 0$ $\epsilon = Y - r(X)$ $Y = Y + r(X) - r(X) = r(X) + \epsilon$ $\mathbb{E}(\epsilon) = \mathbb{E}\mathbb{E}(\epsilon \mid X) = \mathbb{E}(\mathbb{E}(Y - r(X)) \mid X) = \mathbb{E}(\mathbb{E} ( Y \mid X) - r(X)) = \mathbb{E}(r(X) - r(X)) = 0$

regression linear-model

— George
sumber

Hubungannya adalah bahwa model regresi linier persis dengan klaim bahwa adalah fungsi linier dari beberapa X yang diamati. Secara alami, klaim ini tidak perlu benar, meskipun sebagai perkiraan untuk itu bisa lebih baik atau lebih buruk. Bab 'Ekonometrika Paling Tidak Berbahaya' yang disebut 'Membuat regresi masuk akal' adalah diskusi yang baik.

r

$r$

r

$r$

— conjugateprior

Atau apakah saya melewatkan apa yang Anda minta?

— conjugateprior

Periksa jawaban terkait: stats.stackexchange.com/questions/173660/…

— Tim

Merangkum pertanyaan:

Diberikan , apakah ini kemudian merupakan teorema matematika yang ? $Y = \beta_0 + \beta_1 X + \varepsilon$ $r(X) = \mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X)$

Ya, berdasarkan sifat dasar dari harapan:

\begin{aligned} E (Y ∣ X) & = E (β_{0} + β_{1} X + ε) \\ = E (β_{0}) + E (β_{1} X) + E (ε) & (linearity of expectation) \\ = β_{0} + β_{1} X + 0 & (Noting that X is constant here \\ because we conditioned on it.) \\ = β_{0} + β_{1} X \end{aligned}

$\begin{align} \operatorname{E}(Y\mid X) & = \operatorname{E}(\beta_0 + \beta_1 X + \varepsilon) \\[6pt] & = \operatorname{E}(\beta_0) + \operatorname{E}(\beta_1 X) + \operatorname{E}(\varepsilon) & & \text{(linearity of expectation)} \\[6pt] & = \beta_0 + \beta_1 X + 0 & & \text{(Noting that $X$ is constant here} \\[-2pt] & & & \quad \text{because we conditioned on it.)} \\[6pt] & = \beta_0 + \beta_1 X \end{align}$

Alasan historis untuk regresi yang disebut regresi berkaitan dengan Galton memperhatikan efek " regresi terhadap rata-rata " - awalnya dalam percobaan pada tanaman yang melibatkan ukuran benih keturunan dibandingkan dengan ukuran benih orang tua. Suatu hubungan melalui ukuran benih rata-rata pada kedua variabel akan memiliki kemiringan kurang dari (kemiringan mana yang dapat diperkirakan dengan apa yang kita sebut regresi linier). Semakin kecil kemiringan semakin kuat efek "regresi". Masalah ini diilustrasikan oleh Galton dalam pdf yang ditautkan oleh ketinggian anak-anak (sebagai orang dewasa) dibandingkan dengan tinggi rata-rata orang tua (perempuan ditingkatkan oleh faktor konstan untuk membuat mereka sebanding dengan laki-laki). Diagram pada halaman ketiga hingga kelima menunjukkan sesuatu dari apa yang diamati. $1$ $8\%$

Jadi upaya untuk memperkirakan ukuran "regresi terhadap rata-rata" ini diperoleh dengan apa yang kemudian disebut regresi linier. Tentu saja tidak ada yang istimewa yang terjadi - regresi terhadap nilai rata-rata bukanlah suatu "dorongan ke mediokritas" biologis khusus seperti yang semula dapat ditebak, tetapi konsekuensi yang cukup sederhana dari matematika dari situasi pada dasarnya dalam arti yang sama dengan korelasi. selalu antara dan . $-1$ $1$

— Glen_b -Reinstate Monica
sumber

Saya telah mengganti penggunaan \ qquad Anda yang kasar dengan penggunaan "align" yang benar di MathJax, ditambah beberapa detail MathJax lainnya, dan saya menunggu ulasan dari hasil edit.

$\qquad$

— Michael Hardy

@Michael Saya sadar menyelaraskan dan telah menggunakannya berkali-kali - tetapi apa manfaat sebenarnya dalam pengeditan dalam kasus ini? Saya ingin itu dibiarkan sejajar daripada di tengah untuk meninggalkan ruang untuk komentar berada pada satu baris dan saya ingin komentar tidak berada dalam teks berat yang MahJax tinggalkan untuk Anda, lebih memilih teks ringan dari markup biasa. Hasil sekarang adalah sesuatu yang tidak lagi sesuai dengan penampilan yang sebenarnya saya cari. Alih-alih menjadi "kasar" itu sengaja dipilih. Jika Anda memiliki cara yang mencapai apa yang saya inginkan dengan sedikit usaha daripada yang saya butuhkan, saya semua telinga.

— Glen_b -Reinstate Monica

ok, saya rasa tidak semua selera sesuai satu sama lain

\dots

$\,\ldots\qquad$

— Michael Hardy

Penampilan yang dirancang seperti itu ideal, saya pikir, untuk artikel dan buku tetapi tidak selalu mencerminkan apa yang menurut saya terbaik di forum seperti ini, setidaknya tidak selalu. Saya mengenali selera saya pada masalah ini (dan banyak aspek lain dari penampilan situs yang sering saya coba selesaikan) mungkin berbeda dari norma, jadi saya akan membiarkannya seperti apa adanya, tetapi saya tidak berjanji untuk mencoba terus cobalah untuk menyelaraskan untuk melakukan apa yang saya inginkan ketika tampaknya lebih mudah melakukannya dengan cara lain.

— Glen_b -Reinstate Monica

Apakah teorema pergi ke arah lain juga? Yaitu, mengingat dan , dapatkah kita selalu menyimpulkan bahwa untuk koefisien regresi? Jika tidak, bagaimana kondisi saat kita bisa dan tidak bisa mengatakan ini?

X

$X$

Y

$Y$

E (Y ∣ X) = (β_{0} + β_{1} X) + ϵ

$\mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X) + \epsilon$

β_{0}, β_{1}

$\beta_0, \beta_1$

— George