Apa beberapa "makalah awal" yang paling penting tentang metode Regularisasi?

Dalam beberapa jawaban saya telah melihat pengguna CrossValidated menyarankan OP menemukan makalah awal tentang Lasso, Ridge, dan Elastic Net.

Untuk anak cucu, apa saja karya mani di Lasso, Ridge, dan Elastic Net?

Karena Anda hanya mencari referensi, berikut adalah daftarnya:

1. Tikhonov, Andrey Nikolayevich (1943). "Об устойчивости обратных задач" [Tentang kestabilan masalah terbalik]. Doklady Akademii Nauk SSSR. 39 (5): 195–198.
2. Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501-504 .. Diterjemahkan dalam "Solusi masalah yang dirumuskan secara tidak benar dan metode regularisasi". Matematika Soviet. 4: 1035–1038.
3. Hoerl AE, 1962, Penerapan analisis ridge untuk masalah regresi, Kemajuan Teknik Kimia, 1958, 54-59.
4. Arthur E. Hoerl; Robert W. Kennard (1970). "Regresi Ridge: Estimasi bias untuk masalah nonorthogonal". Technometrics. 12 (1): 55–67. doi: 10.2307 / 1267351. https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. Tibshirani, Robert (1996). "Penyusutan dan Pemilihan Regresi melalui Lasso" (PostScript). Jurnal Masyarakat Statistik Kerajaan, Seri B. 58 (1): 267–288. MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. Zou, H. dan Hastie, T. (2005). Regularisasi dan pemilihan variabel melalui jaring elastis. Jurnal Masyarakat Statistik Kerajaan, Seri B. 67: hlm. 301–320. https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

Makalah historis penting yang saya percaya pertama kali menunjukkan bahwa estimator biasing dapat menghasilkan estimasi yang lebih baik untuk model linier biasa:

• Stein, C., 1956, Januari. Tidak dapat diterimanya estimator biasa untuk rata-rata distribusi normal multivariat. Dalam Prosiding simposium Berkeley Ketiga pada statistik matematika dan probabilitas (Vol. 1, No. 399, hal. 197-206).

Beberapa hukuman yang lebih modern dan penting termasuk SCAD dan MCP:

• Fan, J. dan Li, R., 2001. Pemilihan variabel melalui kemungkinan hukuman nonconcave dan sifat oracle nya. Jurnal Asosiasi Statistik Amerika, 96 (456), pp.1348-1360.
• Zhang, CH, 2010. Seleksi variabel hampir tidak bias di bawah penalti cekung minimum. The Annals of statistics, 38 (2), hlm.894-942.

Dan beberapa lagi tentang algoritma yang sangat baik untuk mendapatkan taksiran dengan menggunakan metode ini:

• Breheny, P. dan Huang, J., 2011. Mengkoordinasikan algoritma penurunan untuk regresi yang dihukum nonconvex, dengan aplikasi untuk pemilihan fitur biologis. Catatan statistik terapan, 5 (1), hal.232.
• Mazumder, R., Friedman, JH dan Hastie, T., 2011. Sparsenet: Koordinasikan keturunan dengan hukuman yang bukan konveks. Jurnal Asosiasi Statistik Amerika, 106 (495), hal.1125-1138.

Juga layak untuk dilihat adalah makalah ini pada pemilih Dantzig yang sangat terkait erat dengan LASSO, tetapi (saya percaya) ini memperkenalkan gagasan ketidaksetaraan oracle untuk penaksir statistik yang merupakan ide yang cukup kuat

• Candes, E. and Tao, T., 2007. Selektor Dantzig: Estimasi statistik ketika p jauh lebih besar dari n. The Annals of Statistics, hal.2313-2351.