Apakah BIC mencoba menemukan model yang benar?

Pertanyaan ini adalah tindak lanjut atau upaya untuk menjernihkan kemungkinan kebingungan mengenai topik yang saya dan banyak orang lain temukan agak sulit, mengenai perbedaan antara AIC dan BIC. Dalam jawaban yang sangat bagus oleh @Dave Kellen tentang topik ini ( /stats//a/767/30589 ) kita membaca:

Pertanyaan Anda menyiratkan bahwa AIC dan BIC mencoba menjawab pertanyaan yang sama, yang tidak benar. AIC mencoba memilih model yang paling tepat menggambarkan realitas dimensi tinggi yang tidak diketahui. Ini berarti bahwa kenyataan tidak pernah ada dalam model kandidat yang sedang dipertimbangkan. Sebaliknya, BIC mencoba menemukan model TRUE di antara sekumpulan kandidat. Saya merasa agak aneh dengan asumsi bahwa realitas dipakai dalam salah satu model yang dibangun oleh para peneliti di sepanjang jalan. Ini adalah masalah nyata bagi BIC.

Dalam komentar di bawah ini, oleh @ gui11aume, kita membaca:

(-1) Penjelasan bagus, tapi saya ingin menantang pernyataan. @Dave Kellen Bisakah Anda memberikan referensi ke mana gagasan bahwa model TRUE harus ditetapkan untuk BIC? Saya ingin menyelidiki hal ini, karena dalam buku ini penulis memberikan bukti yang meyakinkan bahwa ini bukan masalahnya. - gui11aume 27 Mei '12 pada 21:47

Tampaknya pernyataan ini berasal dari Schwarz sendiri (1978), meskipun pernyataan itu tidak perlu: Oleh penulis yang sama (seperti tautan @ gui11aume to), kami membaca dari artikel mereka "Inferensi multimodel: Memahami AIC dan BIC dalam pemilihan Model" ( Burnham dan Anderson, 2004):

Apakah derivasi BIC mengasumsikan keberadaan model yang benar, atau, lebih sempitnya, apakah model yang sebenarnya diasumsikan berada dalam model yang ditetapkan saat menggunakan BIC? (Derivasi Schwarz menentukan kondisi ini.) ... Jawabannya ... tidak. Yaitu, BIC (sebagai dasar untuk perkiraan ke integral Bayesian tertentu) dapat diturunkan tanpa mengasumsikan bahwa model yang mendasari derivasi adalah benar (lihat, misalnya Cavanaugh dan Neath 1999; Burnham dan Anderson 2002: 293-5). Tentu saja, dalam menerapkan BIC, set model tidak perlu mengandung model sejati (tidak ada) yang mewakili realitas penuh. Selain itu, konvergensi dalam probabilitas model yang dipilih BIC ke model targbet (di bawah idealisasi sampel iid) tidak secara logis berarti bahwa model target harus menjadi distribusi penghasil data yang benar).

Jadi, saya pikir perlu diskusi atau klarifikasi (jika lebih banyak diperlukan) tentang hal ini. Saat ini, yang kami miliki adalah komentar dari @ gui11aume (terima kasih!) Di bawah jawaban yang sangat tinggi mengenai perbedaan antara AIC dan BIC.

model-selection aic bic

— Erosennin
sumber

Untuk memfokuskan pertanyaan dengan lebih baik, AIC mungkin dapat dihapus dari judul karena, jika saya mengerti dengan benar, pertanyaan ini adalah tentang apakah model yang sebenarnya perlu dalam kandidat yang ditetapkan ketika menggunakan BIC.

— Juho Kokkala

@JuhoKokkala: Saya setuju.

— Erosennin

Bagi saya intinya adalah bahwa dalam sebagian besar aplikasi praktis, BIC menghasilkan underfitting dan AIC menilai dengan lebih tepat kemungkinan kinerja model pada data baru yang tidak ada. Tetapi apakah Anda menggunakan AIC atau BIC jika Anda memilih di antara, katakanlah, 3 model / set fitur yang bersaing, model yang dihasilkan dapat sesuai. AIC dan BIC berfungsi paling baik ketika jumlah model potensial rendah atau model dihubungkan oleh sejumlah kecil parameter (misalnya, penalti).

— Frank Harrell

Terima kasih @Erosennin untuk menggali referensi. Saya sekarang mengerti dari mana ide bahwa model TRUE harus dimasukkan berasal.

— gui11aume

@ Frankharrell: Bisakah Anda menjelaskan apa yang Anda maksud dengan "aplikasi praktis"? Jika saya memahami Burnham dan Anderson dengan benar, sepertinya BIC akan menghasilkan kekurangan ketika data langka. Ketika kita memiliki banyak data, BIC akan benar-benar memilih / mencari model quasi-true yang lebih kompleks daripada AIC. AIC dan BIC memiliki "model target" yang berbeda. Saya akan senang menjelaskan apa yang Anda katakan, jika hanya untuk menunjukkan saya pada beberapa artikel / buku.

— Erosennin

\frac{p (M_{1} | y)}{p (M_{2} | y)} > 1 \overset{A}{\sim} S I C (M_{1}) < S I C (M_{2})

$\frac{p(M_1|y)}{p(M_2|y)} > 1 \overset{A}{\sim} SIC(M_1) < SIC(M_2)$

\overset{A}{\sim}

$\overset{A}{\sim}$

p (M_{j} | y)

$p(M_j|y)$

j

$j$

y

$y$

I C (k) = - \frac{2}{T} l (\hat{θ}; y) + k g (T)

$IC(k) = -\frac{2}{T} \mathcal{l}(\hat{\theta};y) + k g(T)$

l (\hat{θ}; y)

$\mathcal{l}(\hat{\theta};y)$

\hat{θ}

$\hat{\theta}$

k

$k$

T

$T$

g (T) \to 0 as \infty

$g(T) \to 0 \; \text{as} \;\infty$

T g (T) \to \infty as \infty

$Tg(T) \to \infty \; \text{as} \;\infty$

g_{A I C} (T) = \frac{2}{T}, g_{S I C} (T) = \frac{\ln T}{T}

$g_{AIC}(T) = \frac{2}{T},\;\; g_{SIC}(T) = \frac{\ln{T}}{T}$

Elliott, G. dan A. Timmermann (2016, April). Peramalan Ekonomi. Princeton University Press.

Schwarz, Gideon. "Memperkirakan dimensi model." Catatan statistik 6.2 (1978): 461-464.

— Matthias Schmidtblaicher
sumber