Regularisasi norma

Ada banyak metode untuk melakukan regularisasi - , , dan regularisasi berbasis misalnya. Menurut Friedman Hastie & Tibsharani , pembuat peraturan terbaik tergantung pada masalah: yaitu sifat fungsi target yang sebenarnya, dasar tertentu yang digunakan, rasio sinyal terhadap kebisingan, dan ukuran sampel. $L_0$ $L_1$ $L_2$

Adakah penelitian empiris yang membandingkan metode dan kinerja berbagai metode regularisasi?

r regression machine-learning regularization

— Ram Ahluwalia
sumber

Ketiga penulis berada di Stanford. Kenapa tidak langsung tanya salah satunya saja. Rob Tibshirani sangat mudah didekati dan begitu pula Jerry Friedman. Friedman melakukan banyak penelitian asli dalam regresi yang diatur. Jadi dia mungkin pilihan yang lebih baik.

— Michael R. Chernick

Tentu saja saya tidak bisa mengatakan bahwa saya memberikan jawabannya. Tetapi mengarahkannya kepada orang terbaik untuk menjawab pertanyaan itu sepertinya lebih dari sekadar komentar biasa yang biasanya berusaha untuk menjelaskan. Saya sering bertanya-tanya mengapa orang selalu bertanya di sini ketika mereka bisa langsung ke sumbernya. Saya hampir yakin bahwa Friedman dapat menjawabnya dan sangat masuk akal untuk pergi ke sumbernya terutama ketika itu adalah pertanyaan tentang sesuatu yang ditulis dalam buku mereka. Saya bisa pergi ke sumbernya untuk mendapatkan jawabannya dan kemudian menyajikannya di sini.

— Michael R. Chernick

Orang-orang diintimidasi oleh status sumber sebagai otoritas, menganggap sumbernya terlalu sibuk untuk berurusan dengan (dan menurut mereka) pertanyaan kecil dan tidak penting mereka, takut menjadi kasar "mengapa kamu menggangguku dengan ini?" jawab ... Jauh lebih mudah untuk pergi ke sumber jika Anda juga adalah sumber, mungkin untuk hal-hal lain, di lapangan.

— jbowman

@jbowman Ya. Aku mengerti itu. Tetapi Anda akan perhatikan bahwa saya mengenal Tibshirani dan Friedman secara pribadi dan meyakinkan OP bahwa ketakutan mereka tidak berdasar dengan para penulis ini. Saya tidak menyebutkan Hastie karena saya tidak mengenalnya sebaik yang lain.

— Michael R. Chernick

@ chl, saya rasa kita tidak bisa berharap mereka melihat mereka bergabung dengan situs. Membutuhkan terlalu banyak waktu untuk profesor yang sibuk dengan beberapa pengecualian seperti Frank Harrell dan mungkin orang lain yang menggunakan nama samaran. Tetapi saya pikir mereka akan meluangkan waktu untuk menanggapi pertanyaan spesifik yang dikirim langsung kepada mereka.

— Michael R. Chernick

Jawaban:

Biarkan mempertimbangkan model linier dihukum.

The penalti tidak sangat digunakan dan sering digantikan oleh norma yang secara matematis lebih fleksibel. $L_0$ $L_1$

Peraturan memiliki properti untuk membuat model yang jarang. Ini berarti bahwa hanya beberapa variabel yang akan memiliki koefisien regresi nol. Ini terutama digunakan jika Anda berasumsi bahwa hanya beberapa variabel yang memiliki dampak nyata pada variabel keluaran. Jika ada variabel yang sangat berkorelasi hanya satu dari ini yang akan dipilih dengan koefisien tidak 0. $L_1$

The penalti seperti jika Anda menambahkan nilai pada diagonal dari matriks masukan. Ini dapat digunakan misalnya dalam situasi di mana jumlah variabel lebih besar dari jumlah sampel. Untuk mendapatkan matriks persegi. Dengan hukuman norma semua variabel memiliki koefisien regresi nol. $L_2$ $\lambda$ $L_2$

— Donbeo
sumber

L_{0}

$L_0$

L_{0}

$L_0$

Beberapa tambahan untuk jawaban @ Donbeo

1) Norma L0 bukan norma dalam arti sebenarnya. Ini adalah jumlah entri bukan nol dalam vektor. Norma ini jelas bukan norma cembung dan bukan norma dalam arti sebenarnya. Karenanya, Anda mungkin melihat istilah seperti 'norma' L0. Ini menjadi masalah kombinatorial dan karenanya NP sulit.

2) Norma L1 memberikan solusi yang jarang (lihat LASSO). Ada hasil mani oleh Candes, Donoho dll. Yang menunjukkan bahwa jika solusi yang benar-benar jarang, metode hukuman L1 akan memulihkannya. Jika solusi yang mendasarinya tidak jarang, Anda tidak akan mendapatkan solusi yang mendasarinya dalam kasus-kasus ketika p >> n. Ada hasil bagus yang menunjukkan bahwa Lasso konsisten.

3) Ada metode seperti jaring elastis oleh Zhou dan Hastie yang menggabungkan solusi penalti L2 dan L1.

— Sid
sumber