Misalkan saya mencoba untuk memperkirakan sejumlah besar parameter dari beberapa data dimensi tinggi, menggunakan beberapa jenis perkiraan yang diatur. Pembuat peraturan memperkenalkan beberapa bias ke dalam estimasi, tetapi masih bisa menjadi trade-off yang baik karena pengurangan varians harus lebih dari sekadar menebusnya.
Masalahnya muncul ketika saya ingin memperkirakan interval kepercayaan (mis. Menggunakan perkiraan Laplace atau bootstrap). Secara khusus, bias dalam estimasi saya menyebabkan cakupan yang buruk dalam interval kepercayaan saya, yang membuatnya sulit untuk menentukan properti frequentist dari estimator saya.
Saya telah menemukan beberapa makalah yang membahas masalah ini (misalnya, "Interval kepercayaan asimptotik dalam regresi ridge berdasarkan ekspansi Edgeworth" ), tetapi matematika sebagian besar di atas kepala saya. Dalam makalah yang ditautkan, Persamaan 92-93 tampaknya memberikan faktor koreksi untuk perkiraan yang diatur oleh regresi ridge, tetapi saya bertanya-tanya apakah ada prosedur yang baik yang akan bekerja dengan berbagai regulator berbeda.
Bahkan koreksi orde pertama akan sangat membantu.