Solusi analitik untuk estimasi koefisien regresi-linier

9

Saya mencoba memahami notasi matriks, dan bekerja dengan vektor dan matriks.

Saat ini saya ingin memahami bagaimana vektor estimasi koefisien dalam regresi berganda dihitung. $\hat{\beta}$

Persamaan dasarnya tampaknya

\frac{d}{d β} (y - X β)^{'} (y - X β) = 0 .

$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$

Sekarang bagaimana saya menyelesaikan vektor $\beta$ sini?

Sunting : Tunggu, saya mandek. Saya di sini sekarang dan tidak tahu bagaimana melanjutkan:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

Dengan untuk semua menjadi intersep: $x_{i0} = 1$ $i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

Bisakah Anda mengarahkan saya ke arah yang benar?

regression

— Alexander Engelhardt
sumber

@ GaBorgulya, terima kasih atas hasil editnya, tidak tahu smallmatrix, jadi tidak mencoba mengedit, karena solusi biasa dari memecah formula dalam beberapa baris tidak akan bekerja di sini.

— mpiktas

12

Kita punya

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

Ini dapat ditunjukkan dengan menulis persamaan secara eksplisit dengan komponen. Misalnya, tulis alih-alih . Kemudian ambil turunan sehubungan dengan , , ..., dan susun semuanya untuk mendapatkan jawabannya. Untuk ilustrasi yang cepat dan mudah, Anda dapat mulai dengan . $(\beta_{1}, \ldots, \beta_{p})'$ $\beta$ $\beta_{1}$ $\beta_{2}$ $\beta_{p}$ $p = 2$

Dengan pengalaman seseorang mengembangkan aturan umum, beberapa di antaranya diberikan, misalnya dalam dokumen itu .

Edit untuk memandu bagian tambahan dari pertanyaan

Dengan , kita punya $p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

Turunan sehubungan dengan adalah $\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Demikian pula, turunan sehubungan dengan adalah $\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Karenanya, turunan sehubungan dengan adalah $\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Sekarang, perhatikan Anda dapat menulis ulang ekspresi terakhir sebagai

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Tentu saja, semuanya dilakukan dengan cara yang sama untuk lebih besar . $p$

— okram
sumber

Luar biasa, saya mencari jenis pdf itu. Terima kasih banyak!

— Alexander Engelhardt

Oh, saya pikir saya bisa melakukannya sendiri sekarang, tetapi saya tidak bisa. Bisakah Anda memberi tahu saya apakah langkah saya benar atau jika saya harus mengambil "cara lain" untuk menyelesaikan ini?

— Alexander Engelhardt

@Alexx Hardt: Persamaan pertama saya di edit adalah sama dengan persamaan terakhir Anda dalam kasus tertentu di mana p = 2. Jadi, Anda dapat meniru perhitungan saya untuk komponen 3, 4, ..., hal.

— ocram

Terima kasih lagi :) Saya pikir saya akan benar-benar menggunakan ketiga saran. Saya sedang membangun .pdf yang menjelaskan dan merangkum aljabar matriks statistik dasar, karena saya entah bagaimana tidak pernah ingin mempelajarinya ketika saya mempelajarinya di kelas saya. Untuk menyelesaikannya dengan tiga cara berbeda akan membantu saya memahaminya dengan lebih baik, saya harap.

— Alexander Engelhardt

Oh, tapi ini untuk p = 2 dan n = 2, kan? Saya akan menuliskannya dengan n = 3 saya pikir.

— Alexander Engelhardt

13

Anda juga dapat menggunakan formula dari buku masak Matrix . Kita punya

(y - X β)^{'} (y - X β) = y^{'} y - β^{'} X^{'} y - y^{'} X β + β^{'} X^{'} X β

$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$

Sekarang ambil turunan dari setiap istilah. Anda mungkin ingin memperhatikan bahwa . Turunan dari istilah sehubungan dengan adalah nol. Istilah yang tersisa $\beta'X'y=y'X\beta$ $y'y$ $\beta$

β^{'} X^{'} X β - 2 y^{'} X β

$\beta'X'X\beta-2y'X\beta$

adalah bentuk fungsi

f (x) = x^{'} A x + b^{'} x,

$f(x)=x'Ax+b'x,$

dalam rumus (88) dalam buku di halaman 11, dengan , dan . Turunannya diberikan dalam rumus (89): $x=\beta$ $A=X'X$ $b=-2X'y$

\frac{\partial f}{\partial x} = (A + A^{'}) x + b

$\frac{\partial f}{\partial x}=(A+A')x+b$

begitu

\frac{\partial}{\partial β} (y - X β)^{'} (y - X β) = (X^{'} X + (X^{'} X)^{'}) β - 2 X^{'} y

$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$

Sekarang karena kami mendapatkan solusi yang diinginkan: $(X'X)'=X'X$

X^{'} X β = X^{'} y

$X'X\beta=X'y$

— mpiktas
sumber

+1 mpiktas: Solusi Anda lebih cerdik daripada milik saya dan saya pikir itu harus digunakan dalam situasi praktis yang lebih kompleks.

— ocram

1

@ocram, terima kasih. Saya tidak akan menyebutnya cerdik, ini adalah aplikasi standar dari formula yang ada. Anda hanya perlu mengetahui

— rumusnya

8

Berikut adalah teknik untuk meminimalkan jumlah kuadrat dalam regresi yang sebenarnya memiliki aplikasi ke pengaturan yang lebih umum dan yang menurut saya berguna.

Mari kita coba hindari kalkulus vektor-matriks sekaligus.

Misalkan kita tertarik untuk meminimalkan mana , dan . Kami berasumsi untuk kesederhanaan bahwa dan .

E = (y - X β)^{T} (y - X β) = ‖ y - X β ‖_{2}^{2},

$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$

y \in R^{n}

$\my \in \reals^n$

X \in R^{n \times p}

$\mX \in \reals^{n\times p}$

β \in R^{p}

$\beta \in \reals^p$

p \leq n

$p \leq n$

r a n k (X) = p

$\mathrm{rank}(\mX) = p$

Untuk setiap , kita mendapatkan $\bhat \in \reals^p$

E = ‖ y - X \hat{β} + X \hat{β} - X β ‖_{2}^{2} = ‖ y - X \hat{β} ‖_{2}^{2} + ‖ X (β - \hat{β}) ‖_{2}^{2} - 2 (β - \hat{β})^{T} X^{T} (y - X \hat{β}) .

$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$

Jika kita dapat memilih (menemukan!) Vektor sehingga istilah terakhir di sisi kanan adalah nol untuk setiap , maka kita akan selesai, karena itu akan menyiratkan bahwa . $\bhat$ $\beta$ $\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

Tapi, untuk semua jika dan hanya jika dan persamaan terakhir ini benar jika dan hanya jika . Jadi diminimalkan dengan mengambil . $(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$ $\beta$ $\mX^T (\my - \mX \bhat) = 0$ $\mX^T \mX \bhat = \mX^T \my$ $\err$ $\bhat = (\mX^T \mX)^{-1} \mX^T \my$

Meskipun ini mungkin tampak seperti "trik" untuk menghindari kalkulus, sebenarnya memiliki aplikasi yang lebih luas dan ada beberapa geometri yang menarik.

Salah satu contoh di mana teknik ini membuat derivasi jauh lebih sederhana daripada pendekatan kalkulus matriks-vektor adalah ketika kita menggeneralisasi ke kasus matriks. Biarkan , dan . Misalkan kita ingin meminimalkan di seluruh matriks parameter . Di sini adalah matriks kovarians. $\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$ $\mX \in \reals^{n \times q}$ $\mB \in \reals^{q \times p}$

E = t r ((Y - X B) Σ^{- 1} (Y - X B)^{T})

$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$

B

$\mB$

Σ

$\Sigma$

Pendekatan yang sepenuhnya analog dengan hal di atas dengan cepat menetapkan bahwa minimum diperoleh dengan mengambil Yaitu, dalam pengaturan regresi di mana respons adalah vektor dengan kovarians dan pengamatan independen, maka estimasi OLS diperoleh dengan melakukan regresi linier terpisah pada komponen respons. $\err$

\hat{B} = (X^{T} X)^{- 1} X^{T} Y .

$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$

Σ

$\Sigma$

p

$p$

— kardinal
sumber

Untungnya aturan forum memperbolehkan menambahkan +1 ke setiap jawaban. Terima kasih untuk pendidikannya, teman-teman!

— DWin

@Din, apakah Anda bermaksud memposting ini di bawah komentar untuk pertanyaan?

— kardinal

Saya kira saya bisa. Saya telah secara berurutan melewati pertanyaan dan kemudian semua jawaban (setelah pemrosesan MathML berhenti menyentak) dan menemukan masing-masing jawaban informatif. Saya baru saja menjatuhkan komentar saya pada Anda karena di situlah saya berhenti membaca.

— DWin

1

@Din, ya, renderingnya agak funky. Saya pikir Anda mungkin telah mengarahkan komentar untuk posting lain karena yang ini tidak memiliki suara (naik atau turun) sehingga komentar tersebut tampaknya tidak pada tempatnya. Bersulang.

— kardinal

1

@ cardinal +1, trik yang bermanfaat. Pertanyaan ini ternyata menjadi referensi yang cukup bagus.

— mpiktas

6

Salah satu cara yang dapat membantu Anda memahami adalah dengan tidak menggunakan aljabar matriks, dan membedakan dengan masing-masing sehubungan dengan masing-masing komponen, dan kemudian "menyimpan" hasilnya dalam vektor kolom. Jadi kita punya:

\frac{\partial}{\partial β_{k}} \sum_{i = 1}^{N} {(Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})}^{2} = 0

$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$

Sekarang Anda memiliki dari persamaan ini, satu untuk setiap beta. Ini adalah aplikasi sederhana dari aturan rantai: $p$

\sum_{i = 1}^{N} 2 {(Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})}^{1} (\frac{\partial}{\partial β_{k}} [Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j}]) = 0

$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$

- 2 \sum_{i = 1}^{N} X_{i k} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j}) = 0

$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$

Sekarang kita dapat menulis kembali jumlah di dalam braket sebagai Jadi Anda mendapatkan: $\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

\sum_{i = 1}^{N} X_{i k} Y_{i} - \sum_{i = 1}^{N} X_{i k} x_{i}^{T} β = 0

$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$

Sekarang kita memiliki dari persamaan ini, dan kita akan "menumpuknya" dalam vektor kolom. Perhatikan bagaimana adalah satu-satunya istilah yang bergantung pada , jadi kita dapat menumpuknya ke vektor dan kita mendapatkan: $p$ $X_{ik}$ $k$ $\bf{x}_{i}$

\sum_{i = 1}^{N} x_{i} Y_{i} = \sum_{i = 1}^{N} x_{i} x_{i}^{T} β

$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$

Sekarang kita dapat mengambil beta di luar jumlah (tetapi harus tetap pada RHS jumlah), dan kemudian mengambil invervse:

{(\sum_{i = 1}^{N} x_{i} x_{i}^{T})}^{- 1} \sum_{i = 1}^{N} x_{i} Y_{i} = β

$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$

— probabilityislogic
sumber