Boosting: mengapa laju pembelajaran disebut parameter regularisasi?

The tingkat belajar parameter ( ) di Gradient Meningkatkan menyusut kontribusi masing-masing model dasar baru -typically sebuah pohon yang dangkal yang ditambahkan dalam seri. Itu terbukti secara dramatis meningkatkan akurasi set tes, yang dapat dimengerti karena dengan langkah-langkah yang lebih kecil, minimum fungsi kerugian dapat dicapai lebih tepat. $\nu \in [0,1]$

Saya tidak mengerti mengapa tingkat pembelajaran dianggap sebagai parameter regularisasi ? Mengutip Elemen Pembelajaran Statistik , bagian 10.12.1, hal.364:

Mengontrol jumlah pohon bukan satu-satunya strategi regularisasi yang mungkin. Seperti halnya regresi ridge dan jaringan saraf, teknik penyusutan dapat digunakan juga. Nilai-nilai yang lebih kecil dari (lebih penyusutan) mengakibatkan risiko pelatihan yang lebih besar untuk jumlah yang sama dari iterasi M . Dengan demikian, baik V dan M mengendalikan risiko prediksi pada data pelatihan.$\nu$$M$$\nu$$M$

Regularisasi berarti "cara untuk menghindari overfitting", jadi jelas bahwa jumlah iterasi sangat penting dalam hal itu ( M yang terlalu tinggi menyebabkan overfitting). Tapi:$M$$M$

Nilai-nilai yang lebih kecil dari (lebih penyusutan) mengakibatkan risiko pelatihan yang lebih besar untuk jumlah yang sama dari iterasi M .$\nu$$M$

hanya berarti bahwa dengan tingkat belajar yang rendah, diperlukan lebih banyak iterasi untuk mencapai akurasi yang sama pada set pelatihan. Jadi bagaimana hubungannya dengan overfitting?

Misalkan Anda mencoba untuk meminimalkan fungsi tujuan melalui sejumlah iterasi. Dan nilai saat ini adalah . Dalam kumpulan data yang diberikan, tidak ada "kesalahan yang tidak dapat direduksi" dan Anda dapat meminimalkan kehilangan hingga 0,0 untuk data pelatihan Anda. Sekarang Anda memiliki dua cara untuk melakukannya.$100.0$$0.0$

• Cara pertama adalah "tingkat belajar yang besar" dan beberapa iterasi. Misalkan Anda dapat mengurangi kerugian sebesar di setiap iterasi, lalu, dalam 10 iterasi, Anda dapat mengurangi kerugian menjadi 0,0 .$10.0$$10$$0.0$

• Cara kedua adalah "tingkat belajar lambat" tetapi lebih banyak iterasi. Misalkan Anda dapat mengurangi kerugian sebesar di setiap iterasi dan Anda membutuhkan 100 iterasi untuk memiliki 0,0 kerugian pada data pelatihan Anda.$1.0$$100$

Sekarang pikirkan tentang ini: apakah kedua pendekatannya sama? dan jika tidak, mana yang lebih baik dalam konteks optimasi dan konteks pembelajaran mesin ?

Dalam literatur optimasi , kedua pendekatan itu sama. Karena keduanya bertemu untuk solusi optimal . Di sisi lain, dalam pembelajaran mesin , mereka tidak setara. Karena dalam kebanyakan kasus, kami tidak membuat kehilangan dalam pelatihan diatur ke yang akan menyebabkan over-fitting.$0$

Kita dapat berpikir tentang pendekatan pertama sebagai "pencarian grid tingkat kasar", dan pendekatan kedua sebagai "pencarian grid tingkat halus". Pendekatan kedua biasanya bekerja lebih baik, tetapi membutuhkan lebih banyak daya komputasi untuk iterasi yang lebih banyak.

Untuk mencegah over-fitting, kita dapat melakukan hal-hal yang berbeda, cara pertama adalah membatasi jumlah iterasi, misalkan kita menggunakan pendekatan pertama, kita membatasi jumlah iterasi menjadi 5. Pada akhirnya, hilangnya data pelatihan adalah . (BTW, ini akan sangat aneh dari sudut pandang optimisasi , yang berarti kami dapat meningkatkan solusi kami di masa depan / itu tidak menyatu, tetapi kami memilih untuk tidak. Dalam optimasi, biasanya kami secara eksplisit menambahkan batasan atau istilah hukuman ke fungsi tujuan, tetapi biasanya tidak membatasi jumlah iterasi.)$50$

$0.1$$500$$0.0$

Inilah sebabnya mengapa tingkat belajar yang kecil sama dengan "lebih banyak pengaturan".

Berikut adalah contoh penggunaan tingkat belajar yang berbeda pada data eksperimen yang digunakan xgboost. Silakan periksa dua tautan berikut untuk melihat apa artinya etaatau apa n_iterations.

Parameter untuk Penambah Pohon

XGBoost Control overfitting

$50$

PS. bukti ketidaksesuaian adalah pelatihan dan pengujian memiliki kesalahan besar, dan kurva kesalahan untuk pelatihan dan pengujian dekat satu sama lain. Tanda over-fitting adalah kesalahan set latihan sangat rendah dan set pengujian sangat tinggi, dua kurva jauh dari satu sama lain.

Dengan metode Newton, Anda memperbarui parameter Anda dengan mengurangi gradien kerugian dibagi dengan kelengkungan kerugian. Dalam optimasi gradient descent, Anda memperbarui parameter Anda dengan mengurangi gradien dari kehilangan kali tingkat belajar. Dengan kata lain, kebalikan dari tingkat pembelajaran digunakan sebagai pengganti kelengkungan kerugian nyata.

Mari kita mendefinisikan masalah kerugian menjadi kerugian yang mendefinisikan apa model yang baik versus yang buruk. Kerugian yang sesungguhnya. Mari kita mendefinisikan kerugian yang dioptimalkan menjadi apa yang sebenarnya diminimalkan oleh aturan pembaruan Anda.

Menurut definisi, parameter regularisasi adalah istilah apa pun yang ada dalam kerugian yang dioptimalkan, tetapi bukan masalah yang hilang. Karena tingkat pembelajaran bertindak seperti istilah kuadratik tambahan dalam kerugian yang dioptimalkan, tetapi tidak ada hubungannya dengan hilangnya masalah, itu adalah parameter regularisasi.

Contoh lain dari regularisasi yang membenarkan perspektif ini adalah:

• Bobot pembusukan, yang seperti istilah ekstra dalam kerugian optimal yang menghukum bobot besar,
• istilah yang menghukum model yang rumit, dan
• istilah yang menghukum korelasi antara fitur.