Saya mengetahui jenis LASSO, ridge, dan elastisitas-net dalam model regresi linier.

Pertanyaan:

Bisakah estimasi jenis ini (atau sejenisnya) diterapkan pada pemodelan ARIMA (dengan bagian MA yang tidak kosong)?

Dalam membangun model ARIMA, tampaknya biasa untuk mempertimbangkan urutan lag maksimum yang dipilih sebelumnya ( $p_{max}$ , $q_{max}$ ) dan kemudian memilih beberapa urutan optimal $p \leqslant p_{max}$ dan $q \leqslant q_{max}$ misalnya dengan meminimalkan AIC atau AICc. Tetapi bisakah regularisasi digunakan sebagai gantinya?

Pertanyaan saya selanjutnya adalah:

Bisakah kita memasukkan semua istilah hingga ( $p_{max}$ , $q_{max}$ ) tetapi menghukum ukuran koefisien (berpotensi sampai nol)? Apakah itu masuk akal?
Jika mau, apakah itu sudah diterapkan di R atau perangkat lunak lain? Jika tidak, apa masalahnya?

Pos yang agak terkait dapat ditemukan di sini .

— Richard Hardy
sumber

+1 untuk pertanyaan yang sangat bagus. Karena P, Q adalah nilai diskrit, mungkin lebih efisien untuk melakukan pencarian kisi untuk menemukan urutan P, Q yang optimal?

— peramal

Saya senang Anda menyukainya! Ya, pencarian kotak adalah salah satu opsi dalam kerangka yang saya sebut sebagai "yang biasa". Di sana orang dapat mencari di grid kemungkinan kombinasi

dari

hingga

. Namun, ini masih merupakan bagian dari "kerangka kerja biasa". Sebagai alternatif, saya tertarik untuk menjaga semua kelambatan tetapi menghukum ukuran koefisien.

(p, q)

$(p,q)$

(0, 0)

$(0,0)$

(p_{m a x}, q_{m a x})

$(p_{max},q_{max})$

— Richard Hardy

columbia.edu/~sn2294/papers/forecast.pdf Seharusnya LASSO bekerja lebih baik karena Anda dapat melewati beberapa kelambatan alih-alih menempatkan maksimum. Hal yang sama dapat dilakukan oleh AIC tetapi kemudian menjadi mahal secara komputasi.

— Cagdas Ozgenc

@CagdasOzgenc, saya membaca sekilas kertas tetapi tampaknya tidak berurusan dengan regularisasi diterapkan pada model ARIMA (meskipun menyebutkan model ARMA dalam konteks kriteria informasi). Bisakah Anda tunjukkan bagian mana dari makalah yang relevan untuk pertanyaan saya?

— Richard Hardy

5.3 tabel berisi model ARMAX. Hasilnya berlaku untuk model ARMA.

— Cagdas Ozgenc

Menjawab Pertanyaan 1.

Chen & Chan "Subset pilihan ARMA melalui adaptive Lasso" (2011) * menggunakan solusi untuk menghindari estimasi kemungkinan maksimum yang dikomputasi secara komputasi. Mengutip kertas, mereka

mengusulkan untuk menemukan model ARMA optimal bagian dengan memasang sebuah regresi Lasso adaptif dari time series pada kelambanan sendiri dan orang-orang dari residual yang diperoleh dari pas autoregresi panjang ke s. <...> [U] dalam kondisi keteraturan ringan, metode yang diusulkan mencapai sifat oracle, yaitu, ia mengidentifikasi model subset ARMA yang benar dengan probabilitas cenderung satu ketika ukuran sampel meningkat hingga tak terbatas, dan <...> estimator dari koefisien bukan nol secara asimptotik normal dengan distribusi pembatas sama dengan ketika koefisien nol diketahui secara apriori. $y_t$ $y_t$

Secara opsional, mereka menyarankan estimasi kemungkinan maksimum dan diagnostik model untuk model ARMA subset terpilih.

$L_1$

y_{t} = \sum_{l = 1}^{p} Φ_{l} y_{t - l} + \sum_{m = 1}^{q} Θ_{m} ε_{t - m} + ε_{t}

$y_t = \sum_{l=1}^p \Phi_l y_{t-l} + \sum_{m=1}^q \Theta_m \varepsilon_{t-m} + \varepsilon_t$

p

$p$

q

$q$

$\lfloor 1.5\sqrt{T} \rfloor$ $||y-\hat y||_2^F$
$\hat\varepsilon := y - \hat y$
$y_{t} = \sum_{l = 1}^{\hat{p}} Φ_{l} y_{t - l} + \sum_{m = 1}^{\hat{q}} Θ_{m} {\hat{ε}}_{t - m} + u_{t},$ $y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$
$\hat p$ $\hat q$ $\lfloor 1.5\sqrt{T} \rfloor$

Pendekatan Wilms et al. adalah diimplementasikan dalam paket R "bigtime" .

Referensi

Chen, K., & Chan, KS (2011). Subset pemilihan ARMA melalui Lasso adaptif. Statistik dan Antarmuka , 4 (2), 197-205.
Wilms, I., Basu, S., Bien, J., & Matteson, DS (2017). Identifikasi Jarang dan Estimasi Vektor Dimensi-Tinggi AutoRegresif Rata-Rata Bergerak. arXiv preprint arXiv: 1707.09208.

^{* Terima kasih kepada @hejseb untuk tautannya.}

— Richard Hardy
sumber

Kertas kerja ini sangat segar, diposting di arXiv baru kemarin.

— Richard Hardy

Apakah ada implementasi dalam python atau R?

— David Masip

@ Davidvidasi, lihat posting diperbarui untuk implementasi R.

— Richard Hardy

Regularisasi untuk model ARIMA

Menjawab Pertanyaan 1.