Pertanyaan tentang pengorbanan bias-varians dan cara optimasi

Jadi saya bertanya-tanya bagaimana cara seseorang, misalnya, dapat mengoptimalkan model yang mereka coba bangun ketika dihadapkan dengan masalah yang disajikan oleh bias tinggi atau varian tinggi. Sekarang, tentu saja, Anda dapat bermain dengan parameter regularisasi untuk mencapai akhir yang memuaskan, tetapi saya bertanya-tanya apakah mungkin untuk melakukan ini tanpa mengandalkan regularisasi.

Jika b adalah penaksir bias dari suatu model dan v variansnya, tidakkah masuk akal untuk mencoba meminimalkan b * v?

Ada banyak cara bias dan varians dapat diminimalkan dan meskipun populer mengatakan itu tidak selalu merupakan tradeoff.

Dua alasan utama untuk bias tinggi adalah kapasitas model yang tidak memadai dan underfitting karena tahap pelatihan tidak lengkap. Misalnya, jika Anda memiliki masalah yang sangat rumit untuk diselesaikan (misalnya pengenalan gambar) dan Anda menggunakan model kapasitas rendah (misalnya regresi linier), model ini akan memiliki bias yang tinggi karena model tersebut tidak dapat memahami kompleksitas dari masalah.

Alasan utama untuk varian tinggi adalah overfitting pada set pelatihan.

Yang sedang berkata ada cara untuk mengurangi bias dan varians pada model ML. Misalnya cara termudah untuk mencapai ini adalah mendapatkan lebih banyak data (dalam beberapa kasus bahkan data sintetis membantu).

Apa yang cenderung kita lakukan dalam praktik adalah:

• Pertama, kami meningkatkan kapasitas model untuk mengurangi varians pada set pelatihan sebanyak mungkin. Dengan kata lain kami ingin membuat model overfit (bahkan mencapai kerugian 0 pada set pelatihan). Ini dilakukan karena kami ingin memastikan model memiliki kapasitas yang cukup memahami data.

• Kemudian kami mencoba mengurangi bias . Ini dilakukan melalui regularisasi ( penghentian dini , hukuman norma , putus sekolah , dll.)