Kesesuaian resmi dari data yang dirangkum: memilih parameter

Sebagai lanjutan dari pertanyaan saya sebelumnya , solusi untuk persamaan normal untuk regresi ridge diberikan oleh:

{\hat{β}}_{λ} = (X^{T} X + λ I)^{- 1} X^{T} y

$\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty$

Bisakah Anda menawarkan panduan untuk memilih parameter regularisasi . Selain itu, karena diagonal tumbuh dengan jumlah pengamatan , haruskah juga menjadi fungsi ? $\lambda$ $X^TX$ $m$ $\lambda$ $m$

regression regularization ridge-regression

— NPE
sumber

Jawaban saya akan didasarkan pada ulasan yang bagus tentang masalah oleh regresi Anders Bjorkstorm Ridge dan masalah terbalik (saya akan merekomendasikan untuk membaca seluruh artikel).

Bagian 4 dalam ulasan ini didedikasikan untuk pemilihan parameter dalam regresi ridge memperkenalkan beberapa pendekatan utama: $\lambda$

jejak ridge sesuai dengan analisis grafis dari terhadap . Plot tipikal akan menggambarkan tidak stabil (untuk masalah yang tidak diposting dengan benar, Anda harus yakin bahwa Anda memerlukan regularisasi ini dalam kasus apa pun) perilaku berbagai perilaku berbeda untuk dekat dengan nol, dan hampir konstan dari beberapa titik (kira-kira kita harus mendeteksi daerah persimpangan perilaku konstan untuk semua parameter). Namun keputusan mengenai di mana perilaku yang hampir konstan ini dimulai agak subyektif. Berita bagus untuk pendekatan ini adalah tidak perlu mengamati dan . $\hat{\beta}_{i,\lambda}$ $\lambda$ $\hat{\beta}_{i,\lambda}$ $\lambda$ $X$ $y$
$L$ -memastikan plot Euclidean norma dari vektor estimasi parameterterhadap norma residual. Bentuknya biasanya dekat dengan huruf sehingga ada sudut yang menentukan di mana parameter optimal milik (seseorang dapat memilih titik dalam kurva di mana yang terakhir mencapai kelengkungan maksimum , tetapi lebih baik untuk mencari artikel Hansen untuk lebih detail). $|\hat{{\beta}}_\lambda|$ $|y - X\hat{\beta}_\lambda|$ $L$ $L$
Untuk validasi silang sebenarnya pendekatan "cuti-keluar-keluar" yang sederhana sering dipilih, mencari yang memaksimalkan (atau meminimalkan) beberapa kriteria ketepatan peramalan (Anda memiliki beragamnya, RMSE dan MAPE adalah keduanya untuk memulai). dengan). Kesulitan dengan 2. dan 3. adalah bahwa Anda harus mengamati dan untuk menerapkannya dalam praktik. $\lambda$ $X$ $y$

— Dmitrij Celov
sumber

Dalam pengalaman saya, tinggalkan satu validasi silang hampir selalu menghasilkan terlalu sedikit regularisasi. -lipat lintas validasi hampir selalu berfungsi lebih baik.

k

$k$

— kardinal

(+1) @ cardinal, tambahan yang bagus, jujur saja, saya punya sedikit pengalaman dengan metode validasi silang. Hal-hal sederhana yang biasa saya gunakan dalam praktek adalah jack-knives (drop up hingga pengamatan berikutnya) dan out-of-sample untuk data time series. Meskipun lipatan dapat diimplementasikan untuk beberapa model deret waktu juga, harus mencobanya untuk membangun pengalaman saya sendiri terlebih dahulu.

k

$k$

k

$k$

— Dmitrij Celov

Ada beberapa metode blok bootstrap yang bagus untuk deret waktu stasioner. Mungkin mereka bisa atau telah dimodifikasi untuk tujuan memilih parameter regularisasi.

— kardinal

Anda mungkin menemukan makalah berikut berguna: Golub, GH; Heath, M. & Wahba, G. General Validasi Lintas sebagai Metode untuk Memilih Parameter Ridge Bagus. Technometrics, 1979, 21, 215-223. Kriteria yang diperkenalkan oleh Golub et al. tidak memerlukan pengambilan sampel ulang.

— emakalic