Apa kompleksitas waktu dari regresi Lasso?

Berapakah kompleksitas waktu asimtotik dari regresi Lasso ketika jumlah baris atau kolom bertambah?

Ingatlah bahwa laso adalah model linier dengan regularisasi .$l_1$

Menemukan parameter dapat dirumuskan sebagai masalah optimasi yang tidak dibatasi, di mana parameter diberikan oleh

$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$

Dalam formasi terbatas parameter diberikan oleh

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

Yang merupakan masalah pemrograman kuadrat dan dengan demikian polinomial.

Hampir semua rutinitas optimasi cembung, bahkan untuk hal-hal nonlinier yang fleksibel seperti jaringan saraf, bergantung pada perhitungan turunan dari parameter target Anda. Anda tidak dapat mengambil turunan dari . Karena itu Anda mengandalkan teknik yang berbeda. Ada banyak metode untuk menemukan parameter. Berikut makalah tinjauan tentang subjek, Least Squares Optimization dengan Regularisasi L1-Norm . Kompleksitas waktu dari pengoptimalan cembung iteratif agak sulit untuk dianalisis, karena tergantung pada kriteria konvergensi. Secara umum, masalah iteratif bertemu dalam lebih sedikit zaman ketika pengamatan meningkat.$\alpha||w||_1$

Sementara @JacobMick memberikan ikhtisar yang lebih luas dan tautan ke makalah ulasan, izinkan saya memberikan "jawaban pintasan" (yang dapat dianggap sebagai kasus khusus dari jawabannya).

Biarkan jumlah variabel kandidat (fitur, kolom) menjadi dan ukuran sampel (jumlah pengamatan, baris) menjadi . Pertimbangkan LASSO diimplementasikan menggunakan algoritma LARS ( Efron et al., 2004 ). Kompleksitas komputasi LASSO adalah ( ibid. )$K$$n$$\mathcal{O}(K^3 + K^2 n)$

• Untuk , dan kompleksitas komputasional LASSO adalah , yang sama dengan regresi dengan variabel ( Efron et al., 2004 , hal 443-444; juga dikutip dalam Schmidt, 2005 , bagian 2.4; untuk kompleksitas komputasi dari suatu regresi, lihat posting ini ).$K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• Untuk , dan kompleksitas komputasional LASSO adalah ( Efron et al., 2004 ).$K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

Referensi:

• Efron, Bradley, dkk. "Regresi sudut terkecil." The Annals of Statistics 32.2 (2004): 407-499.
• Schmidt, Mark. "Optimasi kuadrat terkecil dengan regularisasi norma-l1." Laporan Proyek CS542B (2005).