Mengapa regresi polinomial dianggap sebagai kasus khusus regresi linier berganda?

38

Jika regresi polinomial memodelkan hubungan nonlinear, bagaimana hal itu dapat dianggap sebagai kasus khusus dari regresi linier berganda?

Wikipedia mencatat bahwa "Meskipun regresi polinomial cocok dengan model nonlinier untuk data, sebagai masalah estimasi statistik linear, dalam arti bahwa fungsi regresi adalah linear dalam parameter yang tidak diketahui yang diperkirakan dari data. " $\mathbb{E}(y | x)$

Bagaimana regresi linier polinomial dalam parameter yang tidak diketahui jika parameter adalah koefisien untuk syarat dengan pesanan 2? $\ge$

— gavinmh
sumber

4

The parameter yang akan diestimasi adalah (multifinance) linear. Jika Anda memperkirakan nilai eksponen, masalah estimasi tidak akan linier; tapi mengkuadratkan perbaikan prediktor yang tepat pada 2.

— Sycorax mengatakan Reinstate Monica

Pemahaman saya adalah bahwa komentar @ user777, serta jawaban di bawah ini, tidak hanya berlaku untuk regresi polinomial, tetapi juga setiap regresi yang menggunakan bijinan variabel prediktor. misalnya fungsi yang dapat dibalik, seperti , , dll. (ditambah beberapa fungsi lainnya, jelas, karena kekuatan ke 2 tidak bijektif).

l o g (x)

$log(x)$

e^{x}

$e^x$

— naught101

Terimakasih semuanya; semua jawaban dan komentar sangat membantu.

— gavinmh

53

Ketika Anda memasukkan model regresi seperti , model dan penaksir OLS tidak 'tahu' bahwa hanyalah kuadrat dari , itu hanya 'berpikir' itu variabel lain. Tentu saja ada beberapa collinearity, dan yang dimasukkan ke dalam fit (misalnya, kesalahan standar lebih besar daripada yang seharusnya), tetapi banyak pasangan variabel bisa agak collinear tanpa salah satu dari mereka menjadi fungsi dari yang lain. $\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$ $x^2_i$ $x_i$

Kami tidak menyadari bahwa sebenarnya ada dua variabel terpisah dalam model, karena kami tahu bahwa pada akhirnya adalah variabel yang sama dengan yang kami transformasikan dan sertakan untuk menangkap hubungan lengkung antara dan . Pengetahuan tentang sifat sebenarnya dari , ditambah dengan keyakinan kami bahwa ada hubungan lengkung antara dan adalah apa yang membuatnya sulit bagi kita untuk memahami cara itu masih linier dari perspektif model. Selain itu, kami memvisualisasikan dan $x^2_i$ $x_i$ $x_i$ $y_i$ $x^2_i$ $x_i$ $y_i$ $x_i$ $x^2_i$ bersama-sama dengan melihat proyeksi marginal dari fungsi 3D ke bidang 2D . $x, y$

Jika Anda hanya memiliki dan , Anda dapat mencoba memvisualisasikannya dalam ruang 3D penuh (walaupun masih agak sulit untuk benar-benar melihat apa yang sedang terjadi). Jika Anda melihat fungsi pas di ruang 3D penuh, Anda akan melihat bahwa fungsi pas adalah bidang 2D, dan terlebih lagi itu adalah bidang datar. Seperti yang saya katakan, sulit untuk melihat dengan baik karena data hanya ada sepanjang garis lengkung melalui ruang 3D (fakta itu adalah manifestasi visual dari collinearity mereka). Kita dapat mencoba melakukannya di sini. Bayangkan ini adalah model yang pas: $x_i$ $x^2_i$ $x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

masukkan deskripsi gambar di sini

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

masukkan deskripsi gambar di sini

Mungkin lebih mudah untuk melihat dalam gambar-gambar ini, yang merupakan screenshot dari gambar 3D yang dirotasi yang dibuat dengan data yang sama menggunakan rglpaket.

masukkan deskripsi gambar di sini

Ketika kita mengatakan bahwa model yang "linier dalam parameter" benar-benar linier, ini bukan hanya beberapa kecanggihan matematika. Dengan variabel , Anda memasang hipplane dimensi- dalam hiperspace dimensi (dalam contoh kami bidang 2D dalam ruang 3D). Hyperplane itu benar-benar 'datar' / 'linier'; itu bukan hanya metafora. $p$ $p$ $p\!+\!1$

— gung - Reinstate Monica
sumber

17

Jadi model linear umum adalah fungsi yang linier dalam parameter yang tidak diketahui . Regresi polinomial, misalnya adalah kuadratik sebagai fungsi tetapi linier dalam koefisien , dan . Lebih umum, model linier umum dapat dinyatakan sebagai , di mana adalah fungsi sewenang-wenang dari input vektor - melihat bahwa dapat menyertakan istilah interaksi apa pun (antara komponen ) dan sejenisnya. $y = a + bx + cx^2$ $x$ $a$ $b$ $c$ $y = \sum_{i=0}^N a_i h_i(x)$ $h_i$ $x$ $h_i$ $x$

— Ratu lebah
sumber

14

Pertimbangkan model

y_{i} = b_{0} + b_{1} x_{i}^{n_{1}} + \dots + b_{p} x_{i}^{n_{p}} + ϵ_{i} .

$y_i = b_0+b_1 x^{n_1}_i + \cdots+ b_px^{n_p}_i + \epsilon_i.$

Ini dapat ditulis ulang

y = X b + ϵ; X = (\begin{matrix} 1 & x_{1}^{n_{1}} & \dots & x_{1}^{n_{p}} \\ 1 & x_{2}^{n_{1}} & \dots & x_{2}^{n_{p}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n}^{n_{1}} & \dots & x_{n}^{n_{p}} \end{matrix}) .

$y = X b + \epsilon;\\ X= \begin{pmatrix} 1 & x_{1}^{n_1} & \cdots & x_{1}^{n_p} \\ 1 & x_{2}^{n_1} & \cdots & x_{2}^{n_p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n}^{n_1} & \cdots & x_{n}^{n_p} \\ \end{pmatrix}.$

— bodoh
sumber