Dalam regresi yang tidak dilegalisasi, Anda sering bisa mendapatkan punggungan * di ruang parameter, di mana banyak nilai yang berbeda di sepanjang punggungan semua melakukan dengan baik atau hampir juga pada kriteria kuadrat terkecil.
* (setidaknya, ini adalah punggungan dalam fungsi kemungkinan - mereka sebenarnya adalah lembah $ dalam kriteria RSS, tetapi saya akan terus menyebutnya punggungan, karena ini tampaknya konvensional - atau bahkan, seperti yang ditunjukkan Alexis) dalam komentar, saya bisa menyebutnya thalweg , menjadi rekanan lembah dari punggungan)
Di hadapan punggungan dalam kriteria kuadrat terkecil di ruang parameter, penalti yang Anda dapatkan dengan regresi punggungan akan menyingkirkan punggungan dengan mendorong kriteria ke atas saat parameter menjauhi asal:
[ Gambar lebih jelas ]
Dalam plot pertama, perubahan besar dalam nilai parameter (sepanjang punggungan) menghasilkan perubahan kecil dalam kriteria RSS. Ini dapat menyebabkan ketidakstabilan angka; itu sangat sensitif terhadap perubahan kecil (misalnya perubahan kecil dalam nilai data, bahkan kesalahan pemotongan atau pembulatan). Estimasi parameter berkorelasi hampir sempurna. Anda mungkin mendapatkan estimasi parameter yang sangat besar besarnya.
Sebaliknya, dengan mengangkat hal yang meminimalkan regresi ridge (dengan menambahkan hukuman ) ketika parameter jauh dari 0, perubahan kecil dalam kondisi (seperti kesalahan pembulatan atau pemotongan kecil) tidak dapat menghasilkan perubahan besar dalam hasil perkiraan. Istilah penalti menghasilkan penyusutan menuju 0 (menghasilkan beberapa bias). Sejumlah kecil bias dapat membeli peningkatan substansial dalam varians (dengan menghilangkan punggungan itu).L2
Ketidakpastian estimasi berkurang (kesalahan standar berbanding terbalik dengan derivatif kedua, yang diperbesar dengan penalti).
Korelasi dalam estimasi parameter berkurang. Anda sekarang tidak akan mendapatkan estimasi parameter yang besarnya sangat besar jika RSS untuk parameter kecil tidak akan jauh lebih buruk.