Bagaimana vektor variabel mewakili hyperplane?

Saya membaca Elemen Pembelajaran Statistik dan pada halaman 12 (bagian 2.3) model linier dinotasikan sebagai:

\hat{Y} = X^{T} \hat{β}

$\widehat{Y} = X^{T} \widehat{\beta}$

... di mana adalah transpos dari vektor kolom prediktor / variabel / input independen. (Ini menyatakan sebelumnya "semua vektor diasumsikan vektor kolom" sehingga tidak akan membuat ini vektor baris dan vektor kolom?) $X^{T}$ $X^{T}$ $\widehat{\beta}$

Termasuk dalam adalah " " yang akan dikalikan dengan koefisien terkait yang memberikan intersep (konstan). $X$ $1$

Selanjutnya dikatakan:

Dalam berdimensi ruang input-output, merupakan hyperplane. Jika konstanta termasuk dalam , maka hyperplane menyertakan asal dan merupakan subruang; jika tidak, itu adalah set affine memotong sumbu pada titik . $(p + 1)$ $(X,\ \widehat{Y})$ $X$ $Y$ $(0,\ \widehat{\beta_0})$

Apakah " " menggambarkan vektor dibentuk oleh gabungan dari prediksi, yang mencegat itu " " dan ? Dan mengapa memasukkan " " di memaksa hyperplane untuk melewati titik asal, tentunya bahwa " " harus dikalikan dengan ? $(X,\ \widehat{Y})$ $1$ $\widehat{Y}$ $1$ $X$ $1$ $\widehat{\beta_0}$

Saya gagal memahami buku itu; bantuan / saran / tautan ke sumber daya akan sangat dihargai.

regression references statistical-learning

— Scott
sumber

Mungkin membantu untuk mempertimbangkan

terlebih dahulu. Dalam hal

, dengan

mencegat. Ini adalah persamaan garis yang melewati

. Ekstensi ke dimensi yang lebih tinggi bersifat langsung.

p = 1

$p = 1$

\hat{y} = {\hat{β}}_{0} + x \hat{β}

$\hat{y} = \hat{\beta}_0 + x \hat{\beta}$

β_{0}

$\beta_0$

(0, {\hat{β}}_{0})

$(0, \hat{\beta}_0)$

— ocram

Jika bantuan @ocram tidak cukup, coba tuliskan vektornya dan lakukan penggandaannya.

— Peter Flom - Reinstate Monica

Berikut ini adalah presentasi grafis yang bagus: blog.stata.com/2011/03/03/… . Notasi berbeda, A ada X dan x adalah

\hat{β}

$\hat \beta$

— Dimitriy V. Masterov

Buku itu salah, atau setidaknya tidak konsisten. Jelas ada variabel

tidak termasuk konstanta. Dengan demikian set

memang adalah hyperplane, tetapi tidak benar untuk mengatakan bahwa konstanta "termasuk dalam

" Sebaliknya saya kira buku bermaksud mengatakan konstan yang dimasukkan dalam regresi tetapi masih tidak harus dianggap sebagai bagian dari

. Oleh karena itu model benar-benar harus ditulis

p

$p$

{(X, \hat{Y}) | X \in R^{p}}

$\{(X,\hat{Y})|X\in\mathbb{R}^p\}$

X

$X$

X

$X$

mana

. Pengaturan

segera memberikan penegasan tentang intersep.

\hat{Y} = {\hat{β}}_{0} + X^{'} \hat{β}

$\hat{Y}=\hat\beta_0 + X'\hat\beta$

β = (β_{1}, β_{2}, \dots, β_{p})^{'}

$\beta=(\beta_1,\beta_2,\ldots,\beta_p)'$

X = 0

$X=0$

— whuber

(Jika kita bukan termasuk konstan dalam

, maka kita tidak bisa membiarkan

dengan bebas bervariasi dari semua

: itu dibatasi untuk kebohongan dalam

ruang bagian berdimensi Grafik.

kemudian memiliki codimension setidaknya

dan bukan sebenarnya "pesawat

X

$X$

X

$X$

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

{(X, \hat{Y})}

$\{(X,\hat Y)\}$

2

$2$

— terbang

Jawaban:

$N$ $K$

$X$ $N\!\times\!K$ $x_i^T$ $K\!\times\!1$ $\beta$ $Y$ $N\!\times\!1$ $Y_n$

$Y$ $X$ $X$ $N\!\times\!K$ $X$ $Y$ $Y$ $X$

$Y$ $X$ $K$ $X$ $K\!+\!1$

$X$ $1$ $\beta_1$ $\beta_1$ $Y$ $x_{1i}$ $K\!+\!1$ $K$ $\beta_1$ $K$

y_{i} = β_{1} x_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_1x_{1i} + \beta_2x_{2i} +u_i$

Y = X β + u

$Y=X\beta +u$

X

$X$

N \times 2

$N\!\times\!2$

$<Y,X>$

$x_1$ $1$

y_{i} = β_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_{1i} + \beta_2x_{2i} + u_i$

X, Y

$X,\ Y$

< Y, X >

$<Y,X>$

β_{1}

$\beta_1$

x_{2 i} = 0

$x_{2i}=0$

$<0,\beta_1>$ $<0,0>$ $\beta$

(X^{'} X) β = X^{'} y ⟹ (X^{'} X) β - X^{'} y = 0 ⟹ X^{'} (y - X β) = 0.

$(X'X)\beta=X'y \implies (X'X)\beta-X'y=0 \implies X'(y-X\beta)=0.$

X

$X$

y - X β = 0

$y-X\beta=0$

( Sunting: Saya baru menyadari bahwa untuk pertanyaan kedua Anda, ini persis kebalikan dari Anda yang telah menulis penyertaan ulang pemasukan atau pengecualian konstanta. Namun, saya telah menemukan solusi di sini dan saya berdiri dikoreksi jika saya salah tentang yang itu. )

Saya tahu representasi matriks dari suatu regresi bisa sangat membingungkan pada awalnya, tetapi pada akhirnya itu menyederhanakan banyak ketika menurunkan aljabar yang lebih kompleks. Semoga ini bisa membantu sedikit.

— Majte
sumber

Saya pikir cara untuk memikirkannya adalah mengatur ulang persamaan itu:

\hat{Y} - X^{T} \hat{β} = 0

$\widehat{Y} - X^{T} \widehat{\beta} = 0$

\hat{Y}

$\widehat{Y}$

— DWIN
sumber