Apakah mungkin untuk menghitung AIC dan BIC untuk model regresi laso?

31

Apakah mungkin untuk menghitung nilai AIC atau BIC untuk model regresi laso dan model yang diregulasi lainnya di mana parameter hanya sebagian memasukkan persamaan. Bagaimana seseorang menentukan derajat kebebasan?

Saya menggunakan R agar sesuai dengan model regresi laso dengan glmnet()fungsi dari glmnetpaket, dan saya ingin tahu bagaimana menghitung nilai AIC dan BIC untuk model. Dengan cara ini saya dapat membandingkan nilai dengan model yang sesuai tanpa regularisasi. Apakah ini mungkin dilakukan?

— Jota
sumber

1

Ya, Anda bisa melakukan ini, tetapi kemungkinan besar mengharuskan Anda untuk mendapatkan koreksi yang tepat. Koreksi ini diturunkan dalam makalah ini ncbi.nlm.nih.gov/pmc/articles/PMC2629611 dalam konteks pemodelan campuran terbatas yang dihukum, tetapi argumen analog akan cukup dalam model hukuman lainnya.

— Makro

12

Anda juga dapat menemukan makalah berikut yang menarik:

RJ Tibshirani dan J. Taylor (2011), Derajat kebebasan dalam masalah laso , arXiv pracetak: 1111.0653 .

H. Zou, T. Hastie dan R. Tibshirani (2007), Pada derajat kebebasan laso , Annals of Statistics 35 (5), 2173-2192.

— Alexandra
sumber

14

akan lebih baik jika ada sedikit penjelasan tentang jawaban akhir;

— user4581

10

Saya banyak berjuang dengan cara bagaimana menghitung AIC dan BIC untuk model glmnet. Namun, setelah cukup banyak mencari, saya menemukan jawabannya di halaman ketiga google. Itu dapat ditemukan di sini . Saya memposting di sini untuk pembaca masa depan karena saya percaya saya tidak bisa menjadi satu-satunya.

Pada akhirnya, saya menerapkan AIC dan BIC dengan cara berikut:

fit <- glmnet(x, y, family = "multinomial") 

tLL <- fit$nulldev - deviance(fit)
k <- fit$df
n <- fit$nobs
AICc <- -tLL+2*k+2*k*(k+1)/(n-k-1)
AICc

BIC<-log(n)*k - tLL
BIC

— johnnyheineken
sumber

2

Dalam tautan yang dirujuk oleh johnnyheineken, penulis menyatakan:

Saya khawatir dua kuantitas yang tersedia dari objek glmnet (dev.ratio, nulldev) tidak cukup untuk mendapatkan kemungkinan model, yang Anda perlukan untuk menghitung AICc. Anda memiliki dua persamaan dalam tiga yang tidak diketahui: likelihood (null), likelihood (model), dan likelihood (saturated). Saya tidak bisa mendapatkan kemungkinan (model) gratis dari kemungkinan (nol).

Menurut saya, jika Anda membandingkan AIC antara dua model, fakta bahwa Anda tidak dapat memisahkan penyimpangan nol seharusnya tidak menjadi masalah. Karena ada di kedua "sisi" ketidaksetaraan, itu akan menunjukkan model mana yang harus memiliki AIC lebih rendah. Ini tergantung pada dua hal:

Data sama di kedua model (toh diperlukan untuk perbandingan AIC)
Saya tidak melupakan sesuatu dari Stat101 atau aljabar sekolah menengah (asumsi kuat yang diberikan asupan kafein saya saat ini)

— naturalBlogarithm
sumber