Saya sedang membaca artikel ini terkait dengan jaring elastis. Mereka mengatakan bahwa mereka menggunakan jaring elastis karena jika kita hanya menggunakan Lasso itu cenderung memilih hanya satu prediktor di antara para prediktor yang sangat berkorelasi. Tapi bukankah ini yang kita inginkan. Maksud saya itu menyelamatkan kita dari masalah multikolinearitas bukan.
Ada saran / klarifikasi?
Jawaban:
Misalkan dua prediktor memiliki efek yang kuat pada respons tetapi sangat berkorelasi dalam sampel dari mana Anda membangun model Anda. Jika Anda menjatuhkan satu dari model itu tidak akan memprediksi dengan baik untuk sampel dari populasi serupa di mana prediktor tidak sangat berkorelasi.
Jika Anda ingin meningkatkan ketepatan estimasi koefisien Anda di hadapan multikolinieritas Anda harus memperkenalkan sedikit bias, off-setting dengan pengurangan variasi yang lebih besar. Salah satu caranya adalah dengan menghapus prediktor sepenuhnya — dengan LASSO, atau, di masa lalu, metode bertahap —, yang menetapkan estimasi koefisiennya menjadi nol. Yang lain adalah dengan membiaskan semua perkiraan sedikit — dengan regresi ridge, atau, di masa lalu, mundur pada beberapa komponen utama pertama. Kelemahan dari yang pertama adalah bahwa itu sangat tidak aman jika model akan digunakan untuk memprediksi tanggapan untuk pola prediktor jauh dari yang terjadi pada sampel asli, karena prediktor cenderung dikecualikan hanya karena mereka tidak banyak digunakan bersama dengan yang lain, hampir collinear, prediktor. (Bukan berarti ekstrapolasi benar-benar aman.) Jaring elastis adalah campuran dari keduanya, seperti yang dijelaskan oleh @ user12436, & cenderung menjaga kelompok prediktor yang berkorelasi dalam model.
Tapi bukankah ini yang kita inginkan. Maksud saya itu menyelamatkan kita dari masalah multikolinieritas bukan.
Iya! dan tidak. Jaring elastis adalah kombinasi dari dua teknik regularisasi, regularisasi L2 (digunakan dalam regresi ridge) dan regularisasi L1 (digunakan dalam LASSO).
Lasso menghasilkan model jarang alami, yaitu sebagian besar koefisien variabel akan menyusut menjadi 0 dan secara efektif dikeluarkan dari model. Jadi variabel yang paling tidak signifikan menyusut, sebelum menyusut yang lain, tidak seperti dengan punggungan, di mana semua variabel menyusut, sementara tidak satupun dari mereka benar-benar menyusut ke 0.
Jaring elastis menggunakan kombinasi linear dari kedua pendekatan ini. Kasus spesifik yang disebutkan oleh Hastie ketika membahas metode ini dalam kasus p besar, kecil n. Yang berarti: data dimensi tinggi dengan, pengamatan relatif sedikit. Dalam hal ini LASSO akan (menurut laporan) hanya akan memilih paling banyak n variabel, sambil menghilangkan yang lainnya, lihat kertas oleh Hastie .
Itu akan selalu tergantung pada dataset aktual, tetapi Anda dapat membayangkan bahwa Anda tidak selalu ingin memiliki batas atas pada jumlah variabel dalam model Anda yang sama, atau lebih rendah dari jumlah pengamatan Anda.
Baik Lasso dan Elastic Net adalah metode yang efisien untuk melakukan pemilihan variabel atau fitur dalam pengaturan data dimensi tinggi (lebih banyak variabel daripada pasien atau sampel; misalnya, 20.000 gen dan 500 sampel tumor).
Telah ditunjukkan (oleh Hastie dkk.) Bahwa Elastic Net dapat mengungguli Lasso ketika data sangat berkorelasi. Lasso mungkin hanya memilih salah satu variabel yang berkorelasi dan tidak peduli mana yang dipilih. Ini bisa menjadi masalah ketika seseorang ingin memvalidasi variabel yang dipilih dalam dataset independen. Variabel yang dipilih oleh Lasso mungkin bukan prediktor terbaik di antara semua variabel yang berkorelasi. Elastic Net memecahkan masalah ini dengan rata-rata variabel yang sangat berkorelasi.