Diberikan dua model regresi linier, model mana yang akan melakukan lebih baik?

Saya telah mengambil kursus pembelajaran mesin di kampus saya. Di salah satu quize, pertanyaan ini diajukan.

Model 1:

$$y = \theta x + \epsilon$$ Model 2: $$y = \theta x + \theta^2 x + \epsilon$$

Manakah dari model di atas yang lebih cocok dengan data? (anggap data dapat dimodelkan menggunakan regresi linier)

Jawaban yang benar (menurut profesor) adalah bahwa kedua model akan tampil sama baiknya. Namun saya percaya bahwa model pertama akan lebih cocok.

Inilah alasan di balik jawaban saya. Model kedua, yang dapat ditulis ulang sebagai $\alpha x + \epsilon$ , $\alpha = \theta + \theta^2$ tidak akan sama dengan model pertama. $\alpha$ sebenarnya adalah parabola, dan karenanya memiliki nilai minimum ( $-0.25$ dalam kasus ini). Sekarang karena ini, kisaran $\theta$ dalam model pertama lebih besar dari kisaran $\alpha$ dalam model kedua. Oleh karena itu, jika data sedemikian rupa sehingga kecocokan terbaik memiliki kemiringan kurang dari $-0.25$ , model kedua akan berkinerja sangat buruk dibandingkan dengan yang pertama. Namun dalam kasus kemiringan paling cocok lebih besar dari$-0.25$ , kedua model akan memiliki kinerja yang sama baiknya.

Jadi apakah yang pertama lebih baik, atau keduanya sama persis?

Model 2 dapat ditulis sebagai: Ini tampaknya mirip dengan model 1, hanya dengan notasi berbeda untuk hyperparameters ( θ , β ). Namun, untuk model 1 kita dapat menulis θ = (

$$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$$ $\theta, \beta$
$$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$$

Tapi karena dalam model 2 kita mendapati bahwa maka seperti yang Anda sebutkan memang berbagai β harus milik [ - 0,25 , + ∞ ] untuk θ ∈ R . Yang akan menyebabkan perbedaan dalam 2 model ini.

$$\beta=\theta + \theta^{2},$$ $\hat{\beta}$$[-0.25,+\infty]$$\theta \in R$

Jadi dalam model 2 Anda membatasi estimasi koefisien Anda tidak seperti model yang 1. Untuk membuat ini lebih jelas, perlu dicatat bahwa dalam model diperoleh melalui meminimalkan fungsi kerugian persegi θ = arg min θ ∈ R ( y - X θ $\hat{\theta}$ Namun dalam model 2 estimasi yang diperoleh melalui β =arg min β ≥ - 0,25 (y-Xβ

$$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$$ yang mungkin mengarah pada hasil yang berbeda. $$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$$

Tidak yakin saya mengerti alasan Anda. Jika Anda mengambil:

dan y = θ

$$y = \alpha x+\epsilon$$ $$y = \theta x + \epsilon$$

$\alpha$$\theta$$\alpha$$\theta$$R^2$$\theta$$\alpha = \theta + \theta^2$