Saya melakukan regresi logistik elastis-bersih pada set data perawatan kesehatan menggunakan glmnetpaket dalam R dengan memilih nilai lambda pada kisi dari 0 hingga 1. Kode singkat saya di bawah ini:$\alpha$

alphalist <- seq(0,1,by=0.1)
elasticnet <- lapply(alphalist, function(a){
  cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001)
})
for (i in 1:11) {print(min(elasticnet[[i]]$cvm))}

yang menampilkan galat divalidasi silang rata-rata untuk setiap nilai alpha dari hingga dengan kenaikan :$0.0$$1.0$$0.1$

[1] 0.2080167
[1] 0.1947478
[1] 0.1949832
[1] 0.1946211
[1] 0.1947906
[1] 0.1953286
[1] 0.194827
[1] 0.1944735
[1] 0.1942612
[1] 0.1944079
[1] 0.1948874

Berdasarkan apa yang saya baca dalam literatur, pilihan optimal dari adalah di mana kesalahan cv diminimalkan. Tapi ada banyak variasi kesalahan pada rentang alfa. Saya melihat beberapa minimum lokal, dengan kesalahan minimum global untuk .$\alpha$0.1942612alpha=0.8

Apakah aman untuk digunakan alpha=0.8? Atau, mengingat variasinya, haruskah saya menjalankan kembali cv.glmnetdengan lebih banyak lipatan validasi silang (mis. bukannya ) atau mungkin jumlah antara dan untuk mendapatkan gambaran yang jelas tentang jalur kesalahan cv?10 $20$$10$$\alpha$alpha=0.01.0

Mengklarifikasi apa yang dimaksud dengan parameter $\alpha$ dan Elastic Net

Terminologi dan parameter yang berbeda digunakan oleh paket yang berbeda, tetapi artinya secara umum sama:

The paket R Glmnet menggunakan definisi berikut

$\min_{\beta_0,\beta} \frac{1}{N} \sum_{i=1}^{N} w_i l(y_i,\beta_0+\beta^T x_i) + \lambda\left[(1-\alpha)||\beta||_2^2/2 + \alpha ||\beta||_1\right]$

Penggunaan Sklearn

$\min_{w} \frac{1}{2N} \sum_{i=1}^{N} ||y - Xw ||^2_2 + \alpha \times l_1 \text{ratio} ||w||_1 + 0.5 \times \alpha \times (1 - l_1 \text{ratio}) \times ||w||_2^2$

Ada parameter alternatif menggunakan $a$ dan $b$ juga ..

Untuk menghindari kebingungan, saya akan menelepon

• $\lambda$ parameter kekuatan penalti
• L 1$L_1 \text{ratio}$ antarapenalti$L_1$ dan$L_2$ , mulai dari 0 (ridge) hingga 1 (laso)

Memvisualisasikan dampak parameter

Pertimbangkan set data simulasi di mana $y$ terdiri dari kurva sinus berisik dan $X$ adalah fitur dua dimensi yang terdiri dari $X_1 = x$ dan $X_2 = x^2$ . Karena korelasi antara $X_1$ dan $X_2$ fungsi biaya adalah lembah sempit.

Gambar di bawah ini menggambarkan jalur solusi dari elasticnet regresi dengan dua berbeda $L_1$ parameter rasio, sebagai fungsi dari $\lambda$ parameter kekuatan.

• Untuk kedua simulasi: ketika $\lambda = 0$ maka solusinya adalah solusi OLS di kanan bawah, dengan fungsi biaya berbentuk lembah yang terkait.
• Ketika $\lambda$ meningkat, regularisasi akan masuk dan solusinya cenderung $(0,0)$
• Perbedaan utama antara kedua simulasi adalah parameter rasio $L_1$ .
• LHS : untuk kecil $L_1$ rasio, fungsi biaya regularized terlihat banyak seperti regresi Ridge dengan kontur bulat.
• RHS : untuk besar $L_1$ rasio, fungsi biaya terlihat banyak seperti regresi Lasso dengan kontur bentuk berlian yang khas.
• Untuk rasio $L_1$ menengah (tidak ditampilkan) fungsi biaya adalah campuran keduanya

Memahami efek dari parameter

The ElasticNet diperkenalkan untuk melawan beberapa keterbatasan Lasso yaitu:

• Jika ada lebih banyak variabel $p$ daripada titik data $n$ , $p>n$ , laso memilih paling banyak variabel $n$ .
• Lasso gagal melakukan seleksi yang dikelompokkan, terutama di hadapan variabel yang berkorelasi. Ini akan cenderung untuk memilih satu variabel dari grup dan mengabaikan yang lain

Dengan menggabungkan penalti $L_1$ dan kuadrat $L_2$ kita mendapatkan keuntungan dari keduanya:

• $L_1$ menghasilkan model yang jarang
• $L_2$ menghilangkan batasan jumlah variabel yang dipilih, mendorong pengelompokan dan menstabilkanjalur regularisasi$L_1$ .

Anda dapat melihat ini secara visual pada diagram di atas, singularitas pada simpul mendorong sparsity , sedangkan tepi cembung yang ketat mendorong pengelompokan .

Berikut ini visualisasi yang diambil dari Hastie (penemu ElasticNet)

Bacaan lebih lanjut

• https://web.stanford.edu/~hastie/Papers/B67.2%20(2005)%20301-320%20Zou%20&%20Hastie.pdf
• https://www.researchgate.net/profile/Federico_Andreis/publication/321106005_Shrinkage_methods_ridge_lasso_elastic_nets/links/5a0da3d7aca2729b1f4eeabb/Shrinkage-methods-ridge-las--astic-nets.pdf.
• https://web.stanford.edu/~hastie/TALKS/enet_talk.pdf

Izinkan saya menambahkan beberapa komentar yang sangat praktis terlepas dari usia pertanyaan. Karena saya bukan pengguna R, saya tidak bisa membiarkan kode berbicara, tetapi harus dimengerti.

1. $\alpha$$k$$f_1, ..., f_k$$f(x) = \frac{1}{k}\sum_i{f_i(x)}$$f(x) = \sqrt[k]{\prod_{i=1}^k{f_i(x)}}$

2. Satu keuntungan dari resampling adalah Anda dapat memeriksa urutan skor tes, yang di sini adalah skor cv. Anda harus selalu tidak hanya melihat rata-rata tetapi pada deviasi std (itu tidak terdistribusi normal, tetapi Anda bertindak seolah-olah). Biasanya Anda menampilkan ini katakan sebagai 65,5% (± 2,57%) untuk akurasi. Dengan cara ini Anda dapat mengetahui apakah "penyimpangan kecil" lebih mungkin terjadi secara kebetulan atau secara struktural. Lebih baik bahkan untuk memeriksa urutan lengkap . Jika selalu ada satu lipatan untuk beberapa alasan, Anda mungkin ingin memikirkan kembali cara Anda melakukan split Anda (itu mengisyaratkan desain eksperimental yang salah, juga: apakah Anda mengacak?). Di scikit-pelajari GridSearchCVdetail toko tentang kedaluwarsa lipatan di cv_results_( lihat di sini ).

3. $\alpha$$L_1$$\alpha$$L_2$