Bagaimana cara mendapatkan estimator kuadrat terkecil untuk regresi linier berganda?

30

Dalam kasus regresi linier sederhana , Anda dapat memperoleh estimator kuadrat terkecil sehingga Anda tidak perlu tahu untuk memperkirakan $y=\beta_0+\beta_1x$ $\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$ $\hat\beta_0$ $\hat\beta_1$

Misalkan saya memiliki , bagaimana cara memperoleh tanpa memperkirakan ? atau ini tidak mungkin? $y=\beta_1x_1+\beta_2x_2$ $\hat\beta_1$ $\hat\beta_2$

— Saber CN
sumber

1

Anda bisa menghilangkan salah satu variabel dan masih mendapatkan estimasi yang tidak bias dari yang lain jika mereka independen.

— david25272

51

Derivasi dalam notasi matriks

Mulai dari , yang benar-benar sama dengan $y= Xb +\epsilon$

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

semuanya bermuara pada meminimalkan : $e'e$

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

Jadi meminimalkan $e'e'$ memberi kita:

$min_{b}$ $e'e = (y-Xb)'(y-Xb)$

$min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

Satu hal matematika terakhir, syarat orde kedua minimum mensyaratkan bahwa matriks adalah positif pasti. Persyaratan ini dipenuhi jika memiliki peringkat penuh. $X'X$ $X$

Derivasi yang lebih akurat yang melewati semua langkah dalam dept yang lebih besar dapat ditemukan di bawah http://economictheoryblog.com/2015/02/19/ols_estimator/

— Andreas Dibiasi
sumber

3

Derivasi ini persis apa yang saya cari. TANPA LANGKAH-LANGKAH TERLENGKAP. Mengejutkan betapa sulitnya menemukan yang sama.

— javadba

1

Dalam persamaan matriks, bukankah seharusnya yang kedua *adalah a +? Juga, bukankah seharusnya bukannya untuk mendapatkan dimensi yang cocok?

b_{K}

$b_K$

b_{N}

$b_N$

— Alexis Olson

Alexis Olson, kamu benar! Saya mengedit jawaban saya.

— Andreas Dibiasi

13

Dimungkinkan untuk memperkirakan hanya satu koefisien dalam regresi berganda tanpa memperkirakan yang lainnya.

Perkiraan diperoleh dengan menghapus efek dari variabel lain dan kemudian mengembalikan residu terhadap residual . Ini dijelaskan dan diilustrasikan Bagaimana tepatnya seseorang mengontrol variabel lain? dan Bagaimana cara menormalkan (a) koefisien regresi? . Keindahan dari pendekatan ini adalah bahwa ia tidak memerlukan kalkulus, tidak ada aljabar linier, dapat divisualisasikan hanya dengan geometri dua dimensi, secara numerik stabil, dan mengeksploitasi hanya satu ide mendasar dari regresi berganda: yaitu mengambil (atau "mengendalikan") ) efek dari satu variabel. $\beta_1$ $x_2$ $y$ $x_1$

Dalam kasus ini , regresi berganda dapat dilakukan dengan menggunakan tiga langkah regresi biasa:

Regres pada (tanpa istilah konstan!). Biarkan fit menjadi . Perkiraannya adalah Karenanya residualnya adalah Secara geometris, adalah apa yang tersisa dari setelah proyeksi ke dikurangi. $y$ $x_2$ $y = \alpha_{y,2}x_2 + \delta$
$α_{y, 2} = \frac{\sum_{i} y_{i} x_{2 i}}{\sum_{i} x_{2 i}^{2}} .$ $\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$ $δ = y - α_{y, 2} x_{2} .$ $\delta = y - \alpha_{y,2}x_2.$ $\delta$ $y$ $x_2$
Regress pada (tanpa istilah yang konstan). Biarkan kecocokannya menjadi . Perkiraannya adalah adalahSecara geometris, adalah yang tersisa dari setelah proyeksi ke dikurangi. $x_1$ $x_2$ $x_1 = \alpha_{1,2}x_2 + \gamma$
$α_{1, 2} = \frac{\sum_{i} x_{1 i} x_{2 i}}{\sum_{i} x_{2 i}^{2}} .$ $\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$ $γ = x_{1} - α_{1, 2} x_{2} .$ $\gamma = x_1 - \alpha_{1,2}x_2.$ $\gamma$ $x_1$ $x_2$
Regress on (tanpa suku konstan). Perkiraannya adalah adalah . Secara geometris, adalah komponen (yang mewakili dengan diambil) dalam arah (yang mewakili dengan dikeluarkan). $\delta$ $\gamma$
${\hat{β}}_{1} = \frac{\sum_{i} δ_{i} γ_{i}}{\sum_{i} γ_{i}^{2}} .$ $\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$ $\delta = \hat\beta_1 \gamma + \varepsilon$ $\hat\beta_1$ $\delta$ $y$ $x_2$ $\gamma$ $x_1$ $x_2$

Perhatikan bahwa belum diperkirakan. $\beta_2$ Dengan mudah dapat dipulihkan dari apa yang telah diperoleh sejauh ini (seperti dalam kasus regresi biasa dengan mudah diperoleh dari estimasi kemiringan ). The adalah residu untuk regresi bivariat dari pada dan . $\hat\beta_0$ $\hat\beta_1$ $\varepsilon$ $y$ $x_1$ $x_2$

Paralel dengan regresi biasa adalah kuat: langkah (1) dan (2) adalah analog dengan mengurangi rata-rata dalam rumus biasa. Jika Anda membiarkan menjadi vektor, Anda sebenarnya akan memulihkan rumus yang biasa. $x_2$

Ini menggeneralisasi dengan cara yang jelas untuk regresi dengan lebih dari dua variabel: untuk memperkirakan , mundur dan secara terpisah terhadap semua variabel lainnya, kemudian mundur residualnya satu sama lain. Pada saat itu tidak ada koefisien lain dalam regresi berganda belum diestimasi. $\hat\beta_1$ $y$ $x_1$ $y$

— whuber
sumber

1

Jawaban yang bagus, berikut adalah teorema umum en.wikipedia.org/wiki/…

— JohnK

4

Estimasi kuadrat terkecil biasa dari adalah fungsi linier dari variabel respons $\beta$ . Sederhananya, estimasi OLS dari koefisien, , dapat ditulis hanya menggunakan variabel dependen ( ) dan variabel independen ( 's). $\beta$ $Y_i$ $X_{ki}$

Untuk menjelaskan fakta ini untuk model regresi umum, Anda perlu memahami aljabar linear kecil. Misalkan Anda ingin memperkirakan koefisien dalam model regresi berganda, $(\beta_0, \beta_1, ...,\beta_k)$

Y_{i} = β_{0} + β_{1} X_{1 i} + . . . + β_{k} X_{k i} + ϵ_{i}

$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$

di mana untuk . Matriks desain adalah matriks mana setiap kolom berisi pengamatan dari variabel dependen . Anda dapat menemukan banyak penjelasan dan derivasi di sini dari rumus yang digunakan untuk menghitung perkiraan koefisien , yaitu $\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$ $i=1,...,n$ $\mathbf{X}$ $n\times k$ $n$ $k^{th}$ $X_k$ $\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$

dengan asumsi bahwa kebalikannya ada. Koefisien estimasi adalah fungsi dari data, bukan dari koefisien estimasi lainnya. $(\mathbf{X}^\prime \mathbf{X})^{-1}$

— caburke
sumber

Saya punya pertanyaan lanjutan, pada kasus regresi sederhana, Anda membuat lalu menjadi matriks dari dan , lalu ikuti . Bagaimana saya harus menulis ulang persamaan dalam kasus saya?

y_{i} = β_{0} + β_{1} \bar{x} + β_{1} (x_{i} - \bar{x}) + e_{i}

$y_i=\beta_0+\beta_1\bar x+\beta_1(x_i-\bar x)+e_i$

X

$X$

(1, . . ., 1)

$(1,...,1)$

(x_{1} - \bar{x}, . . ., x_{n} - \bar{x})

$(x_1-\bar x,...,x_n-\bar x)$

\hat{β} = (X^{'} X)^{(} - 1) X^{'} Y

$\hat\beta=(X'X)^(-1)X'Y$

— Saber CN

Dan satu pertanyaan lagi, apakah ini berlaku untuk kasus di mana dan tidak linier, tetapi modelnya masih linier? Misalnya kurva peluruhan , dapatkah saya mengganti eksponensial dengan dan sehingga menjadi pertanyaan awal saya?

x_{1}

$x_1$

x_{2}

$x_2$

y = β_{1} e^{x_{1} t} + β_{2} e^{x_{2} t}

$y=\beta_1 e^{x_1t}+\beta_2 e^{x_2t}$

x_{1}^{'}

$x_1'$

x_{2}^{'}

$x_2'$

— Saber CN

Dalam komentar pertama Anda, Anda dapat memusatkan variabel (kurangi artinya dari itu) dan gunakan itu adalah variabel independen Anda. Cari "regresi standar". Rumus yang Anda tulis dalam bentuk matriks tidak benar. Untuk pertanyaan kedua, ya Anda bisa melakukannya, model linear adalah yang linear dalam , jadi selama sama dengan kombinasi linear dari , Anda baik-baik saja.

β

$\beta$

y

$y$

β

$\beta$

— caburke

2

(+1). Tapi bukankah seharusnya " matrix", bukan ?

n \times k

$n \times k$

k \times n

$k \times n$

— miura

3

Satu catatan kecil tentang teori vs praktik. Secara matematis dapat diperkirakan dengan rumus berikut: $\beta_0, \beta_1, \beta_2 ... \beta_n$

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\hat{\beta} = (X'X)^{-1} X'Y$

di mana adalah data input asli dan adalah variabel yang ingin kami perkirakan. Ini mengikuti dari meminimalkan kesalahan. Saya akan membuktikan ini sebelum membuat poin praktis kecil. $X$ $Y$

Biarkan menjadi kesalahan yang regresi linier pada titik . Kemudian: $e_i$ $i$

e_{i} = y_{i} - \hat{y_{i}}

$e_i = y_i - \hat{y_i}$

Total kuadrat total yang kami buat adalah sekarang:

\sum_{i = 1}^{n} e_{i}^{2} = \sum_{i = 1}^{n} (y_{i} - \hat{y_{i}})^{2}

$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$

Karena kami memiliki model linier, kami tahu bahwa:

\hat{y_{i}} = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + . . . + β_{n} x_{n, i}

$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$

Yang dapat ditulis ulang dalam notasi matriks sebagai:

\hat{Y} = X β

$\hat{Y} = X\beta$

Kami tahu itu

\sum_{i = 1}^{n} e_{i}^{2} = E^{'} E

$\sum_{i=1}^n e_i^2 = E'E$

Kami ingin meminimalkan kesalahan kuadrat total, sehingga ekspresi berikut harus sekecil mungkin

E^{'} E = (Y - \hat{Y})^{'} (Y - \hat{Y})

$E'E = (Y-\hat{Y})' (Y-\hat{Y})$

Ini sama dengan:

E^{'} E = (Y - X β)^{'} (Y - X β)

$E'E = (Y-X\beta)' (Y-X\beta)$

Penulisan ulang mungkin tampak membingungkan tetapi mengikuti dari aljabar linier. Perhatikan bahwa matriks berperilaku mirip dengan variabel ketika kita mengalikannya dalam beberapa hal.

Kami ingin menemukan nilai sehingga ungkapan ini sekecil mungkin. Kita perlu membedakan dan menetapkan turunan sama dengan nol. Kami menggunakan aturan rantai di sini. $\beta$

\frac{d E^{'} E}{d β} = - 2 X^{'} Y + 2 X^{'} X β = 0

$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$

Ini memberi:

X^{'} X β = X^{'} Y

$X'X\beta = X'Y$

Sehingga akhirnya:

β = (X^{'} X)^{- 1} X^{'} Y

$\beta = (X'X)^{-1} X'Y$

Jadi secara matematis kita tampaknya telah menemukan solusi. Namun ada satu masalah, dan itu adalah sangat sulit untuk dihitung jika matriks sangat sangat besar. Ini mungkin memberikan masalah akurasi numerik. Cara lain untuk menemukan nilai optimal untuk dalam situasi ini adalah dengan menggunakan jenis metode gradient descent. Fungsi yang ingin kami optimalkan tidak terikat dan cembung sehingga kami juga akan menggunakan metode gradien dalam praktiknya jika perlu. $(X'X)^{-1}$ $X$ $\beta$

— Vincent Warmerdam
sumber

kecuali bahwa Anda tidak benar-benar perlu menghitung ...

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— user603

titik yang valid. kita juga dapat menggunakan proses gram schmidt, tetapi saya hanya ingin mengatakan bahwa menemukan nilai optimal untuk vektor juga dapat dilakukan secara numerik karena cembung.

β

$\beta$

— Vincent Warmerdam

2

Derivasi sederhana dapat dilakukan hanya dengan menggunakan interpretasi geometris LR.

Regresi linier dapat diartikan sebagai proyeksi dari ke ruang kolom . Dengan demikian, kesalahan, adalah ortogonal terhadap ruang kolom dari . $Y$ $X$ $\hat{\epsilon}$ $X$

Oleh karena itu, produk dalam antara dan kesalahan harus 0, yaitu, $X'$

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

Yang menyiratkan bahwa,

$(X'X)^{-1}X'y = \hat{\beta}$ .

Sekarang hal yang sama dapat dilakukan oleh:

(1) Memproyeksikan ke (kesalahan ), , $Y$ $X_2$ $\delta = Y-X_2 \hat{D}$ $\hat{D} = (X_2'X_2)^{-1}X_2'y$

(2) Memproyeksikan ke (kesalahan ), , $X_1$ $X_2$ $\gamma = X_1 - X_2 \hat{G}$ $\hat{G} = (X_1'X_1)^{-1}X_1X_2$

dan akhirnya,

(3) Memproyeksikan ke , $\delta$ $\gamma$ $\hat{\beta}_1$

— Dnaiel
sumber