Regresi tanpa intersep: memperoleh dalam kuadrat terkecil (tidak ada matriks)

Dalam Pengantar Pembelajaran Statistik (James et al.), Di bagian 3.7 latihan 5, ini menyatakan bahwa rumus untuk dengan asumsi regresi linier tanpa intersep adalah mana dan adalah perkiraan yang biasa digunakan dalam OLS untuk regresi linier sederhana ( ). $\hat{\beta}_1$

{\hat{β}}_{1} = \frac{\sum_{saya = 1}^{n} x_{saya} y_{saya}}{\sum_{saya = 1}^{n} x_{saya}^{2}},

$\hat{\beta}_1 = \dfrac{\displaystyle\sum\limits_{i=1}^{n}x_iy_i}{\displaystyle \sum\limits_{i=1}^{n}x_i^2}\text{,}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat{\beta}_0 = \bar{y}-\hat{\beta}_1\bar{x}$

{\hat{β}}_{1} = \frac{S_{x y}}{S_{x x}}

$\hat{\beta}_1 = \dfrac{\displaystyle S_{xy}}{S_{xx}}$

S_{x y} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$S_{xy} = \displaystyle\sum\limits_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})$

Ini bukan latihan yang sebenarnya ; Saya hanya ingin tahu bagaimana menurunkan persamaan. Tanpa menggunakan aljabar matriks , bagaimana cara menurunkannya?

Usaha saya: dengan , kami memiliki . $\hat{\beta}_0 = 0$ $\hat{\beta}_1 = \dfrac{\bar{y}}{\bar{x}} = \dfrac{S_{xy}}{S_{xx}}$

Setelah beberapa aljabar, dapat ditunjukkan bahwa dan . Dari sini, saya mandek. $\displaystyle S_{xy} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}\bar{y}$ $\displaystyle S_{xx} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}^2$

self-study least-squares

— Klarinetis
sumber

Rumusnya langsung dari interpretasi geometris kuadrat terkecil , menggunakansebagai "pencocokan" untuk dan mengenali rumus untuk sebagai.

x / | | x | |

$x/||x||$

y

$y$

({\hat{β}}_{1}) x

$(\hat\beta_1)x$

(y \cdot (x / | | x | |)) x / | | x | |

$(y\cdot (x/||x||))x/||x||$

— whuber

@whuber: Daripada menulis saya akan menulisJika itu tidak cukup mencolok bagi Anda, pertimbangkan perbedaan tipografi antara diberi kode sebagai || x || || y ||, dan dikodekan sebagai \ | x \ | \ | y \ |.

x / | | x | |,

$x/||x||,$

x / ‖ x ‖ .

$x/\|x\|.$

| | x | | | | y | |,

$||x|| ||y||,$

‖ x ‖ ‖ y ‖,

$\|x\|\|y\|,$

$\qquad$

— Michael Hardy

Ini langsung dari definisi Ordinary Least Squares. Jika tidak ada intersep, seseorang meminimalkan . Ini lancar sebagai fungsi , sehingga semua minima (atau maksimum) terjadi ketika turunannya nol. Membedakan sehubungan dengan kita dapatkan . Memecahkan untuk memberikan rumus. $R(\beta) = \sum_{i=1}^{i=n} (y_i- \beta x_i)^2$ $\beta$ $\beta$ $-\sum_{i=1}^{i=n} 2(y_i- \beta x_i)x_i$ $\beta$

— meh
sumber