Arti 'jumlah parameter' dalam AIC

21

Saat menghitung AIC,

$AIC = 2k - 2 ln L$

k berarti 'jumlah parameter'. Tapi apa yang dianggap sebagai parameter? Jadi misalnya dalam model

$y = ax + b$

Apakah a dan b selalu dihitung sebagai parameter? Bagaimana jika saya tidak peduli dengan nilai intersep, dapatkah saya mengabaikannya atau masih menghitungnya?

Bagaimana jika

$y = a f(c,x) + b$

di mana $f$ adalah fungsi dari c dan x, apakah sekarang saya menghitung 3 parameter?

aic

— Tontonan Bob
sumber

9

Ini adalah pertanyaan yang bagus, karena ada kehalusan:

adalah jumlah parameter yang dapat diidentifikasi untuk diperkirakan. Misalnya, meskipun dalam model regresi

lima parameter ditulis, namun

. (Model ini setara dengan

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

dengan

dan

, yang secara eksplisit hanya membutuhkan empat parameter.)

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

Secara ketat, Anda menghitung semua parameter bebas yang dapat diidentifikasi - parameter rata-rata, parameter bentuk dan skala, apa pun (dan itu penting untuk AIC

), tetapi untuk AIC tidak ada konsekuensinya jika Anda menghilangkan parameter yang umum untuk model yang dibandingkan. Jadi misalnya, dalam regresi, Anda harus menghitung parameter varians. Oleh karena itu, menurut perhitungan saya, semua parameter Anda diperhitungkan dalam pertanyaan Anda pendek - tetapi jika ada persis satu di semua model, tidak ada salahnya untuk menjatuhkannya untuk AIC. R secara eksplisit menghitung parameter varians ketika menghitung AIC dalam model regresi.

_{C}

$_C$

— Glen_b -Reinstate Monica

@whuber Mengapa komentar yang luar biasa ini tidak diposting sebagai jawaban? :)

— Alexis

Terima kasih, @Alexis. Saya memposting pemikiran ini sebagai komentar karena ide tersebut cukup tercakup dalam jawaban P Schnell: Saya hanya ingin menekankannya sedikit lagi.

— whuber

17

Seperti yang disebutkan mugen, mewakili jumlah parameter yang diestimasi . Dengan kata lain, ini adalah jumlah jumlah tambahan yang perlu Anda ketahui untuk menentukan model secara penuh. Dalam model regresi linier sederhana Anda dapat memperkirakan $k$

y = a x + b

$y=ax+b$

,

, atau keduanya. Jumlah berapa pun yang tidak Anda perkirakan harus Anda perbaiki. Tidak ada "mengabaikan" parameter dalam arti bahwa Anda tidak mengetahuinya dan tidak peduli. Model paling umum yang tidak memperkirakan

dan

adalah model no-intercept, di mana kami memperbaiki

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$ . Ini akan memiliki 1 parameter. Anda dapat dengan mudah memperbaiki

atau

jika Anda memiliki alasan untuk percaya bahwa itu mencerminkan kenyataan. (Titik halus:

juga merupakan parameter dalam regresi linier sederhana, tetapi karena ada di setiap model Anda dapat menjatuhkannya tanpa mempengaruhi perbandingan AIC.)

a = 2

$a=2$

b = 1

$b=1$

σ

$\sigma$

Jika model Anda adalah jumlah parameter tergantung pada apakah Anda memperbaiki salah satu dari nilai-nilai ini, dan pada bentuk . Sebagai contoh, jika kita ingin memperkirakan dan tahu bahwa

y = a f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$ , maka ketika kita menuliskan model kita memiliki

dengan tiga parameter yang tidak diketahui. Namun, jika

y = a x^{c} + b

$y=ax^c+b$

, maka kita memiliki model

yang benar-benar hanya memiliki dua parameter:

dan

.

f (c, x) = c x

$f(c,x)=cx$

y = a c x + b

$y=acx+b$

a c

$ac$

b

$b$

Sangat penting bahwa adalah keluarga fungsi yang diindeks oleh . Jika yang Anda tahu adalah bahwa kontinu dan itu tergantung pada dan , maka Anda kurang beruntung karena ada banyak fungsi kontinu yang tak terhitung jumlahnya. $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— P Schnell
sumber

2

(+1) Mungkin perlu disebutkan bahwa di seluruh "taksiran" berarti "taksir dengan kemungkinan maksimum".

— Scortchi

Apakah itu penting? Pada kenyataannya,

adalah simulasi yang sangat besar, tidak mungkin untuk dipisahkan secara analitis, dan membutuhkan waktu berjam-jam untuk dihitung. Saya mencobanya dengan sekitar 20 nilai

berbeda karena hanya itu yang kami punya waktu, dan saya tetap dengan nilai

yang memberikan

terbaik di akhir hari. Jadi dengan cara berbicara saya memperkirakan

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$ sebaik mungkin, meskipun tidak seperti yang Anda lakukan dalam regresi. Tentunya itu masih dianggap sebagai parameter untuk AIC?

— Tontonan Bob

2

@SontonBob: Ya - ketika Anda membandingkan dua model perbedaan dalam kemungkinan log yang dimaksimalkan adalah penaksir yang bias dari perbedaan dalam kehilangan informasi Kullback-Leibler yang diharapkan & ketentuan hukuman dalam AIC kira-kira mengoreksi bias itu.

— Scortchi

1

@SontonBob: Saya harus menyebutkan ada modifikasi AIC untuk persamaan estimasi umum & sejenisnya - mereka menggunakan kuasi-kemungkinan dimaksimalkan & istilah hukuman yang agak lebih kompleks.

— Scortchi

4

Untuk model statistik apa pun, nilai AIC adalah mana k adalah jumlah parameter dalam model, dan L adalah nilai maksimal dari fungsi kemungkinan untuk model. $\mathit{AIC} = 2k - 2\ln(L)$

(lihat disini )

Seperti yang Anda lihat, mewakili jumlah parameter yang diestimasi dalam setiap model. Jika model Anda menyertakan intersep (yaitu, jika Anda menghitung estimasi titik, varians, dan interval kepercayaan untuk intersep) maka dihitung sebagai parameter. Di sisi lain, jika Anda menghitung model tanpa intersep, itu tidak masuk hitungan. $k$

Ingatlah bahwa AIC tidak hanya merangkum goodness of fit tetapi juga mempertimbangkan kompleksitas model. Itu sebabnya ada, untuk menghukum model dengan lebih banyak parameter. $k$

Saya tidak merasa cukup berpengetahuan untuk menjawab pertanyaan kedua Anda, saya akan meninggalkannya untuk anggota lain dari komunitas.

— mugen
sumber

1

Apakah itu berarti jika saya Box-Cox mentransformasikan baik x dan y, maka

dari masing-masing transformasi juga dihitung sebagai parameter?

λ

$\lambda$

— Tontonan Bob

1

Ya tentu.

— PA6OTA

1

Pertama, bagi mereka yang mungkin tidak terbiasa dengan AIC: Akaike Information Criterion (AIC) adalah metrik sederhana yang dirancang untuk membandingkan "kebaikan" model.

Menurut AIC, ketika mencoba untuk memilih antara dua model berbeda yang menerapkan input dan variabel respon yang sama , yaitu model yang dirancang untuk memecahkan masalah yang sama, model dengan AIC yang lebih rendah dianggap "lebih baik".

$k$

c $f(c, x)$ $k$

— diri sendiri
sumber