Dalam penginderaan terkompresi, ada jaminan teorema bahwa memiliki solusi jarang yang unik c (Lihat lampiran untuk detail lebih lanjut).

Apakah ada teorema yang serupa untuk laso? Jika ada teorema seperti itu, tidak hanya akan menjamin stabilitas laso, tetapi juga akan memberikan laso dengan interpretasi yang lebih bermakna:

laso dapat mengungkap vektor koefisien regresi jarang $c$ yang digunakan untuk menghasilkan respon $y$ oleh $y = Xc$ .

Ada dua alasan mengapa saya mengajukan pertanyaan ini:

1. Saya pikir 'laso nikmat solusi jarang' bukan jawaban mengapa menggunakan laso untuk pemilihan fitur karena kita bahkan tidak tahu apa kelebihan fitur yang kita pilih.

2. Saya belajar laso terkenal karena tidak stabil untuk pemilihan fitur. Dalam praktiknya, kita harus menjalankan sampel bootstrap untuk mengevaluasi stabilitasnya. Apa alasan paling penting yang menyebabkan ketidakstabilan ini?

Lampiran:

Diberikan $X_{N \times M} = (x_1, \cdots, x_M)$ . $c$ adalah vektor $\Omega$ sparse ( $\Omega \leqslant M$ ). Proses $y = Xc$ menghasilkan respons $y$ . Jika $X$ memiliki NSP (null space property) of order $\Omega$ dan matriks kovarians $X$ tidak memiliki nilai eigen mendekati nol, akan ada solusi unik untuk

Teorema ini juga mengatakan juga jika tidak memiliki NSP of order , tidak ada harapan untuk menyelesaikan .$X$$\Omega$$\text{argmin}_{c: y = Xc} \Vert c \Vert_1$

EDIT:

Setelah menerima jawaban yang luar biasa ini, saya menyadari bahwa saya bingung ketika mengajukan pertanyaan ini.

Mengapa pertanyaan ini membingungkan:

Saya membaca makalah penelitian di mana kita harus memutuskan berapa banyak fitur (kolom) yang akan dimiliki matriks desain (fitur tambahan dibuat dari fitur utama). Karena ini adalah masalah khas , diharapkan dibangun dengan baik sehingga solusi untuk laso dapat menjadi pendekatan yang baik dari solusi jarang nyata.$X_{N \times M}$$n < p$$D$

Alasannya dibuat dari teorema yang saya sebutkan dalam lampiran: Jika kita bertujuan untuk menemukan solusi ombak , lebih baik memiliki NSP of order .$\Omega$$c$$X$$\Omega$

Untuk matriks , jika dilanggar, maka$N \times M$$N > C \Omega \ln M$

tidak ada yang stabil dan pemulihan yang kuat dari dari dan adalah mungkin$c$$D$$P$

$D$ berkorespondensi dengan , berkorespondensi dengan$X$$P$$y$

... seperti yang diharapkan dari hubungan , pemilihan deskriptor menjadi lebih tidak stabil, yaitu, untuk set pelatihan yang berbeda, deskriptor yang dipilih sering berbeda ...$N = C \Omega \ln M$

Kutipan kedua adalah bagian yang membingungkan saya. Tampak bagi saya ketika ketimpangan dilanggar itu bukan hanya solusi mungkin non-unik (tidak disebutkan), tetapi deskriptor juga akan menjadi lebih tidak stabil.

MEMPERBARUI

Lihat posting kedua ini untuk umpan balik McDonald's pada jawaban saya di mana gagasan tentang konsistensi risiko terkait dengan stabilitas.

1) Keunikan vs Stabilitas

Pertanyaan Anda sulit dijawab karena menyebutkan dua topik yang sangat berbeda: keunikan dan stabilitas .

• Secara intuitif, suatu solusi adalah unik jika diberi set data tetap, algoritma selalu menghasilkan hasil yang sama. Jawaban Martin mencakup hal ini dengan sangat rinci.

• Stabilitas di sisi lain dapat dipahami secara intuitif sebagai prediksi yang tidak banyak berubah ketika data pelatihan sedikit dimodifikasi.

Stabilitas berlaku untuk pertanyaan Anda karena pemilihan fitur Lasso (sering) dilakukan melalui Validasi Silang, oleh karena itu algoritma Lasso dilakukan pada lipatan data yang berbeda dan dapat menghasilkan hasil yang berbeda setiap kali.

Stabilitas dan Teorema Tanpa Makan Siang Gratis

Menggunakan definisi dari sini jika kita mendefinisikan stabilitas Seragam sebagai:

Algoritma memiliki stabilitas seragam sehubungan dengan fungsi kerugian jika yang berikut ini berlaku:$\beta$$V$

$$\forall S \in Z^m \ \ \forall i \in \{ 1,...,m\}, \ \ \sup | > V(f_s,z) - V(f_{S^{|i},z}) |\ \ \leq \beta$$

Dianggap sebagai fungsi , istilah dapat ditulis sebagai . Kami mengatakan algoritma ini stabil ketika berkurang sebagai .$m$$\beta$$\beta_m$$\beta_m$$\frac{1}{m}$

maka "No Free Lunch Theorem, Xu and Caramis (2012)" menyatakan hal itu

Jika suatu algoritma jarang , dalam arti bahwa itu mengidentifikasi fitur yang berlebihan, maka algoritma itu tidak stabil (dan batas stabilitas seragam tidak pergi ke nol). [...] Jika suatu algoritma stabil, maka tidak ada harapan bahwa itu akan jarang. (halaman 3 dan 4)$\beta$

Misalnya, regresi teratur stabil dan tidak mengidentifikasi fitur yang berlebihan, sedangkan regresi reguler (Lasso) tidak stabil. $L_2$$L_1$

Upaya menjawab pertanyaan Anda

Saya pikir 'laso nikmat solusi jarang' bukan jawaban mengapa menggunakan laso untuk pemilihan fitur

• Saya tidak setuju, alasan Lasso digunakan untuk pemilihan fitur adalah karena ia menghasilkan solusi yang jarang dan dapat ditunjukkan memiliki properti IRF, yaitu Mengidentifikasi Fitur yang Berlebihan.

Apa alasan paling penting yang menyebabkan ketidakstabilan ini

• Teorema Makan Siang Gratis

Melangkah lebih jauh

Ini bukan untuk mengatakan bahwa kombinasi Cross Validation dan Lasso tidak berfungsi ... pada kenyataannya telah ditunjukkan secara eksperimental (dan dengan banyak teori pendukung) untuk bekerja dengan sangat baik dalam berbagai kondisi. Kata kunci utama di sini adalah konsistensi , risiko, ketidaksetaraan nubuat dll.

Slide dan kertas berikut oleh McDonald dan Homrighausen (2013) menggambarkan beberapa kondisi di mana pemilihan fitur Lasso berfungsi dengan baik: slide dan kertas: " Lasso , kegigihan, dan validasi silang, McDonald dan Homrighausen (2013)" . Tibshirani sendiri juga memposting serangkaian catatan tentang sparcity , regresi linier

Berbagai kondisi untuk konsistensi dan dampaknya pada Lasso adalah topik penelitian aktif dan jelas bukan pertanyaan sepele. Saya dapat mengarahkan Anda ke beberapa makalah penelitian yang relevan:

• Video ceramah tentang teorema makan siang gratis, oleh Xu
• HM Bøvelstad et all, Perbandingan pendekatan pemilihan fitur untuk pemilihan gen, (2007)
• Lasso, kegigihan, dan validasi silang, McDonald dan Homrighausen (2013)
• Huang dan Bowick, Ringkasan dan diskusi tentang: “Seleksi Stabilitas”
• Lim dan Yu, Estimasi Stabilitas dengan Cross Validation, (2015)
• Pembicaraan oleh Peter Buhlmann: Seleksi Stabilitas untuk Data Dimensi Tinggi, (2008) dan makalah yang menyertainya
• Wang, Nan et all, Random Lasso, (2011)
• Stackexchange post: Stabilitas model ketika berhadapan dengan besar , kecil masalah$p$$n$
• Roberts, Nowakm Menstabilkan laso terhadap variabilitas cross-validasi, (2014) yang berpendapat bahwa "persentil-laso, dapat menghasilkan pengurangan besar dalam ketidakstabilan pemilihan model dan kesalahan pemilihan model, dibandingkan dengan laso"
• Satu set catatan mengagumkan dari Tibshirani dan Wasserman tentang sparcity , regresi linier

Komentar dari Daniel J. McDonald

Asisten profesor di Indiana University Bloomington, penulis dua makalah yang disebutkan dalam tanggapan asli dari Xavier Bourret Sicotte .

Penjelasan Anda, secara umum, cukup benar. Beberapa hal yang akan saya tunjukkan:

1. Tujuan kami dalam serangkaian makalah tentang CV dan laso adalah untuk membuktikan bahwa "Lasso + Cross Validation (CV)" tidak sebaik "Lasso + optimal "$\lambda$ . Secara khusus, kami ingin menunjukkan bahwa prediksi juga baik (model-free). Untuk membuat pernyataan tentang pemulihan koefisien yang benar (menemukan yang non-sparse yang tepat), kita perlu mengasumsikan kebenaran yang jarang, yang tidak ingin kita lakukan.

2. Stabilitas algoritmik menyiratkan konsistensi risiko (pertama kali dibuktikan oleh Bousquet dan Elisseeff, saya percaya). Dengan konsistensi risiko, maksud saya bahwapergi ke nol di mana f adalah atau prediktor terbaik dalam beberapa kelas jika kelas tersebut tidak ditentukan dengan benar. Namun ini hanya kondisi yang cukup. Disebutkan pada slide yang Anda tautkan sebagai “teknik pembuktian yang mungkin tidak akan berhasil, karena laso tidak stabil”.$||\hat{f}(X) - f(X)||$$E[Y|X]$

3. Stabilitas hanya cukup tetapi tidak perlu. Kami dapat menunjukkan, bahwa dalam beberapa kondisi, "laso + CV" memprediksi serta "laso + optimal ". Makalah yang Anda kutip memberikan asumsi terlemah yang mungkin (yang ada di slide 16, yang memungkinkan ), tetapi menggunakan bentuk laso yang dibatasi daripada versi Lagrangian yang lebih umum. Makalah lain ( http://www3.stat.sinica.edu.tw/statistica/J27N3/J27N34/J27N34.html ) menggunakan versi Lagrangian. Ini juga menunjukkan bahwa di bawah kondisi yang lebih kuat, pemilihan model juga akan berfungsi. Makalah yang lebih baru ( https://arxiv.org/abs/1605.02214 ) oleh orang lain mengklaim untuk meningkatkan hasil ini (saya belum membacanya dengan cermat).$\lambda$$p>n$

4. Secara umum, karena laso (atau algoritma pemilihan apa pun) tidak stabil, kita perlu analisis yang lebih cermat dan / atau asumsi yang kuat untuk menunjukkan bahwa "algoritma + CV" akan memilih model yang benar. Saya tidak mengetahui kondisi yang diperlukan, meskipun ini umumnya sangat menarik. Tidak terlalu sulit untuk menunjukkan bahwa untuk lambda tetap, prediktor laso secara lokal Lipschitz dalam vektor (saya percaya bahwa satu atau lebih makalah Ryan Tibshirani melakukan ini). Jika orang juga bisa berpendapat bahwa ini berlaku di , ini akan sangat menarik, dan relevan di sini.$Y$$X_i$

Hasil utama yang akan saya tambahkan ke respons Anda: "stabilitas" menyiratkan "risiko-konsistensi" atau "akurasi prediksi". Hal ini juga dapat menyiratkan "konsistensi estimasi parameter" di bawah asumsi yang lebih banyak. Tetapi teorema tanpa makan siang gratis berarti "seleksi" "not stable". Lasso tidak stabil bahkan dengan fixed lambda. Karena itu tentu saja tidak stabil ketika dikombinasikan dengan CV (dari jenis apa pun) .Namun, terlepas dari kurangnya stabilitas, ia masih konsisten dengan risiko dan seleksi konsisten dengan atau tanpa CV. Keunikan tidak penting di sini.$\rightarrow$

Lasso, tidak seperti regresi Ridge (lihat misalnya Hoerl dan Kennard, 1970; Hastie et al., 2009) tidak selalu memiliki solusi yang unik, meskipun biasanya memiliki. Itu tergantung pada jumlah parameter dalam model, apakah variabelnya kontinu atau diskrit, dan pangkat matriks desain Anda. Kondisi untuk keunikan dapat ditemukan di Tibshirani (2013).

Referensi:

Hastie, T., Tibshirani, R., dan Friedman, J. (2009). Unsur-unsur pembelajaran statistik . Seri springer dalam statistik. Springer, New York, cetakan ke-11, edisi ke-2.

Hoerl, AE, dan Kennard, RW (1970). Regresi punggungan: Estimasi bias untuk masalah-masalah nonorthogonal Technometrics , 12 (1), 55-67.

Tibshirani, RJ (2013). Masalah laso dan keunikan. Jurnal Elektronik Statistik , 7, 1456-1490.

Apa yang menyebabkan non-keunikan.

Untuk vektor (di mana adalah tanda yang menunjukkan apakah perubahan akan meningkat atau menurun ), setiap kali mereka bergantung erat:$s_ix_i$$s_i$$c_i$$\Vert c \Vert_1$

lalu ada kombinasi tak terhingga yang tidak mengubah solusi dan norma .$c_i + \gamma\alpha_i$$Xc$$\Vert c\Vert_1$

Sebagai contoh:

miliki untuk solusinya:$\Vert c \Vert_1 = 1$

dengan$0\leq \gamma \leq \frac{1}{2}$

Kita dapat mengurutkan menggantikan vektor dengan menggunakan$x_2$$x_2 = 0.5 x_1 + 0.5 x_3$

Situasi tanpa kondisi ini

Dalam artikel dari Tibshirani (dari jawaban Phil) tiga kondisi yang cukup dijelaskan untuk laso untuk memiliki solusi yang unik.

1. Independen linier Ketika ruang nol adalah nol atau setara ketika peringkat sama dengan jumlah kolom (M). Dalam hal ini Anda tidak memiliki kombinasi linier seperti di atas.$X$$X$

2. Cukup independen Ketika kolom berada pada posisi umum.$Xs$

   Artinya, tidak ada kolom mewakili titik dalam bidang dimensi. Bidang k-2 dimensi dapat diparameterisasi dengan titik apa pun sebagai dengan . Dengan titik -th di bidang yang sama ini Anda akan memiliki kondisi dengan$k$$k-2$$k-1$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 1$$k$$s_jx_j$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 0$

   Perhatikan bahwa pada contoh kolom , dan berada pada satu baris. (Namun agak canggung di sini karena tanda-tanda bisa negatif, misalnya matriks baru saja juga tidak ada solusi unik)$x_1$$x_2$$x_3$$\left[ [2 \, 1] \, [1 \, 1] \, [-0 \, -1] \right]$

3. Ketika kolom berasal dari distribusi kontinu maka tidak mungkin (probabilitas hampir nol) bahwa Anda akan memiliki kolom tidak pada posisi umum.$X$$X$

   Berbeda dengan ini, jika kolom adalah variabel kategori maka probabilitas ini tidak selalu hampir nol. Probabilitas untuk variabel kontinu sama dengan beberapa himpunan bilangan (yaitu bidang yang sesuai dengan rentang afin dari vektor lain) adalah 'hampir' nol. Tapi, ini bukan kasus untuk variabel diskrit.$X$