Reguler linear vs RKHS-regresi

Saya sedang mempelajari perbedaan antara regularisasi dalam regresi RKHS dan regresi linier, tetapi saya kesulitan memahami perbedaan penting antara keduanya.

$(x_i,y_i)$$f(\cdot)$

$$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$$ $K(\cdot,\cdot)$$\alpha_m$ $$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$$ di mana, dengan beberapa penyalahgunaan notasi, entri $i,j$ dari matriks kernel $K$ adalah ${\displaystyle K(x_{i},x_{j})}$ . Ini memberi $$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$$ Atau, kita bisa memperlakukan masalah sebagai regresi ridge normal / masalah regresi linier: $$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$$ dengan solusi $$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$$

Apa perbedaan penting antara kedua pendekatan ini dan solusinya?

Seperti yang mungkin Anda perhatikan ketika menuliskan masalah optimisasi, satu-satunya perbedaan dalam minimisasi adalah norma Hilbert yang digunakan untuk hukuman. Yaitu, untuk menghitung nilai ' ' yang besar untuk tujuan hukuman. Dalam pengaturan RKHS, kami menggunakan produk dalam RKHS, , sedangkan regresi ridge menghukum sehubungan dengan norma Euclidean.α t K $\alpha$$\alpha^tK\alpha$

Konsekuensi teoritis yang menarik adalah bagaimana masing-masing metode efek spektrum dari kernel mereproduksi . Dengan teori RKHS, kita memiliki bahwa adalah pasti positif simetris. Dengan teorema spektral, kita dapat menulis mana adalah matriks diagonal dari nilai eigen dan adalah matriks ortonormal vektor eigen. Akibatnya, dalam pengaturan RKHS, Sementara itu, dalam pengaturan regresi Ridge, perhatikan bahwa secara simetri, K K = U t D U D U ( K + λ n I ) - 1$K$$K$$K = U^tDU$$D$$U$

$$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$$ $K^tK=K^2$ $$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$$ Biarkan spektrum menjadi . Dalam regresi RKHS, nilai eigen distabilkan oleh . Dalam regresi Ridge, kami memiliki . Akibatnya, RKHS secara seragam memodifikasi nilai eigen sementara Ridge menambahkan nilai yang lebih besar jika sesuai lebih kecil.$K$$\nu_1,\ldots,\nu_n$$\nu_i\rightarrow\nu_i+\lambda n$$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$$\nu_i$

Bergantung pada pilihan kernel, dua perkiraan untuk mungkin dekat atau jauh satu sama lain. Jarak dalam pengertian norma operator akan menjadi Namun, ini masih dibatasi untuk diberikan$\alpha$

$$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$$ $Y$, sehingga dua penaksir Anda tidak dapat terpisah secara sewenang-wenang. Oleh karena itu, jika kernel Anda dekat dengan identitas, maka kemungkinan besar akan ada sedikit perbedaan dalam pendekatan. Jika kernel Anda sangat berbeda, kedua pendekatan tersebut masih dapat menghasilkan hasil yang serupa.

Dalam praktiknya, sulit untuk mengatakan secara definitif jika yang satu lebih baik daripada yang lain untuk situasi tertentu. Karena kami meminimalkan sehubungan dengan kesalahan kuadrat ketika mewakili data dalam hal fungsi kernel, kami secara efektif memilih kurva regresi terbaik dari ruang fungsi Hilbert yang sesuai. Oleh karena itu, menghukum sehubungan dengan produk dalam RKHS tampaknya menjadi cara alami untuk melanjutkan.