Apa hubungan antara regularisasi dan metode pengganda lagrange?

Untuk mencegah orang overfitting orang menambahkan istilah regularisasi (sebanding dengan jumlah kuadrat dari parameter model) dengan parameter regularisasi ke fungsi biaya regresi linier. Apakah parameter ini sama dengan pengali lagrange? Jadi, apakah regularisasi sama dengan metode pengali lagrange? Atau bagaimana metode ini terhubung? $\lambda$$\lambda$

Katakanlah kita sedang mengoptimalkan model dengan parameter , dengan meminimalkan beberapa kriteria tunduk pada kendala pada besarnya vektor parameter (misalnya untuk menerapkan pendekatan minimisasi risiko struktural dengan membangun serangkaian model kerumitan yang semakin meningkat), kita perlu menyelesaikan:$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

Lagrangian untuk masalah ini adalah (peringatan: Saya pikir, ini hari yang panjang ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

Jadi dapat dengan mudah dilihat bahwa fungsi biaya yang diatur terkait erat dengan masalah optimisasi terbatas dengan parameter regularisasi terkait dengan konstanta yang mengatur kendala ( ), dan pada dasarnya adalah pengali Lagrange. $\lambda$$C$

Ini menggambarkan mengapa mis. Regresi ridge menerapkan minimalisasi risiko struktural: Regularisasi setara dengan menempatkan batasan pada besarnya vektor bobot dan jika maka setiap model yang dapat dibuat sambil mematuhi batasan yang$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

juga akan tersedia di bawah batasan

$\|\vec{\theta}\|^2 < C_1$ .

Karenanya mengurangi menghasilkan urutan ruang hipotesis yang semakin kompleks.$\lambda$