Mengatasi ketidakpastian model

25

Saya bertanya-tanya bagaimana orang Bayesian di komunitas CrossValidated melihat masalah ketidakpastian model dan bagaimana mereka lebih suka menghadapinya? Saya akan mencoba mengajukan pertanyaan saya dalam dua bagian:

Seberapa penting (dalam pengalaman / pendapat Anda) berurusan dengan ketidakpastian model? Saya belum menemukan makalah yang menangani masalah ini di komunitas pembelajaran mesin, jadi saya hanya ingin tahu mengapa.
Apa pendekatan umum untuk menangani ketidakpastian model (poin bonus jika Anda memberikan referensi)? Saya pernah mendengar tentang model Bayesian rata-rata, meskipun saya tidak akrab dengan teknik / batasan khusus dari pendekatan ini. Apa yang lainnya dan mengapa Anda lebih suka satu dari yang lain?

machine-learning bayesian model-selection

— Nick
sumber

1

Metode yang kurang populer (tetapi dengan meningkatnya popularitas) adalah Aturan Penilaian yang mengevaluasi kinerja prediksi model.

17

Ada dua kasus yang muncul dalam berurusan dengan pemilihan model:

Ketika model yang benar termasuk dalam ruang model.

Ini sangat sederhana untuk berurusan dengan menggunakan BIC . Ada hasil yang menunjukkan bahwa BIC akan memilih model yang benar dengan probabilitas tinggi.

Namun, dalam praktiknya sangat jarang kita tahu model yang sebenarnya. Saya harus berkomentar BIC cenderung disalahgunakan karena hal ini (kemungkinan alasannya mirip dengan AIC ) . Masalah-masalah ini telah diatasi di forum ini sebelumnya dalam berbagai bentuk. Diskusi yang baik ada di sini .

Ketika model yang sebenarnya tidak ada di ruang model.

Ini adalah area penelitian aktif di komunitas Bayesian. Namun, dipastikan bahwa orang tahu bahwa menggunakan BIC sebagai kriteria pemilihan model dalam kasus ini berbahaya. Literatur terbaru dalam analisis data dimensi tinggi menunjukkan ini. Salah satu contohnya adalah ini . Faktor Bayes jelas berkinerja sangat baik dalam dimensi tinggi. Beberapa modifikasi BIC telah diusulkan, seperti mBIC, tetapi tidak ada konsensus. RJMCMC Green adalah cara lain yang populer untuk melakukan pemilihan model Bayesian, tetapi memiliki kedatangan singkat sendiri. Anda dapat menindaklanjuti lebih lanjut tentang ini.

Ada kamp lain di dunia Bayesian yang merekomendasikan model rata-rata. Makhluk terkemuka, Dr. Raftery.

Model Bayesian rata-rata.

Ini situs dari Chris Volinksy merupakan sumber komprehensif Bayesian Model averging. Beberapa karya lain ada di sini .

Sekali lagi, pemilihan model Bayesian masih merupakan bidang penelitian aktif dan Anda mungkin mendapatkan jawaban yang sangat berbeda tergantung pada siapa yang Anda tanya.

— suncoolsu
sumber

\log | A_{n} | \approx \log | n A_{1} | = p \log n + \log | A_{1} |

$\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$

A_{n}

$A_n$

A_{1}

$A_1$

\log | A_{1} | = O (1)

$\log|A_1|=O(1)$

itu juga bisa disebabkan oleh perkiraan Laplace berkinerja buruk juga

— probabilityislogic

11

Bayesian yang "benar" akan menangani ketidakpastian model dengan meminggirkan (mengintegrasikan) semua model yang masuk akal. Jadi misalnya dalam masalah regresi ridge linier Anda akan terpinggirkan pada parameter regresi (yang akan memiliki posterior Gaussian, sehingga bisa dilakukan secara analitis), tetapi kemudian dipinggirkan melalui hyper-paremeters (tingkat kebisingan dan parameter regularisasi) melalui mis. MCMC metode.

Solusi Bayesian yang "lebih rendah" adalah memarginalkan parameter model, tetapi mengoptimalkan parameter-hiper dengan memaksimalkan kemungkinan marginal (juga dikenal sebagai "bukti Bayesian") untuk model. Namun, ini dapat menyebabkan lebih pas dari yang mungkin diharapkan (lihat misalnya Cawley dan Talbot ). Lihat karya David MacKay untuk informasi tentang maksimalisasi bukti dalam pembelajaran mesin. Untuk perbandingan, lihat karya Radford Neal tentang pendekatan "mengintegrasikan semuanya" untuk masalah yang sama. Perhatikan bahwa kerangka bukti sangat berguna untuk situasi di mana pengintegrasian terlalu mahal secara komputasi, sehingga ada ruang untuk kedua pendekatan.

Efektif Bayesians mengintegrasikan daripada mengoptimalkan. Idealnya, kami akan menyatakan keyakinan kami sebelumnya mengenai karakteristik solusi (misalnya kelancaran) dan membuat prediksi secara notoional tanpa benar-benar membuat model. "Model" proses Gaussian yang digunakan dalam pembelajaran mesin adalah contoh dari ide ini, di mana fungsi kovarian menyandikan kepercayaan kami sebelumnya mengenai solusi. Lihat buku hebat karya Rasmussen dan Williams .

Untuk Bayesians praktis, selalu ada validasi silang, sulit dikalahkan untuk sebagian besar hal!

— Dikran Marsupial
sumber

11

Salah satu hal menarik yang saya temukan di dunia "Ketidakpastian Model" adalah gagasan tentang "model sejati". Ini secara implisit berarti bahwa "proposisi model" kami adalah dalam bentuk:

{M.}_{saya}^{(1)} : Model engan adalah model yang benar

$M_i^{(1)}:\text{The ith model is the true model}$

$P(M_i^{(1)}|DI)$ $M_i^{(1)}$

Kelengkapan sangat penting di sini, karena ini memastikan probabilitas menambah 1, yang berarti kita dapat memarginalkan model.

Tapi ini semua pada level konseptual - model rata-rata memiliki kinerja yang baik. Jadi ini berarti harus ada konsep yang lebih baik.

Secara pribadi, saya melihat model sebagai alat, seperti palu atau bor. Model adalah konstruksi mental yang digunakan untuk membuat prediksi tentang atau menggambarkan hal-hal yang dapat kita amati. Kedengarannya sangat aneh berbicara tentang "palu sejati", dan sama anehnya untuk berbicara tentang "konstruksi mental sejati". Berdasarkan hal ini, gagasan tentang "model sejati" tampak aneh bagi saya. Tampaknya jauh lebih alami untuk memikirkan model "baik" dan model "buruk", daripada model "benar" dan model "salah".

Mengambil sudut pandang ini, kita bisa juga tidak pasti mengenai model "terbaik" untuk digunakan, dari pilihan model. Jadi misalkan kita malah beralasan tentang proposisi:

{M.}_{saya}^{(2)} : Dari semua model yang telah ditentukan,

$M_i^{(2)}:\text{Out of all the models that have been specified,}$

model engan adalah model terbaik untuk digunakan

$\text{the ith model is best model to use}$

$M_{i}^{(2)}$ $M_{i}^{(2)}$

Namun dalam pendekatan ini, Anda perlu semacam ukuran kecocokan, untuk mengukur seberapa baik model "terbaik" Anda. Ini dapat dilakukan dengan dua cara, dengan menguji terhadap model "hal yang pasti", yang berjumlah statistik GoF biasa (perbedaan KL, Chi-square, dll). Cara lain untuk mengukur ini adalah dengan memasukkan model yang sangat fleksibel dalam kelas model Anda - mungkin model campuran normal dengan ratusan komponen, atau campuran proses Dirichlet. Jika model ini keluar sebagai yang terbaik, maka kemungkinan model Anda yang lain tidak memadai.

Makalah ini memiliki diskusi teoritis yang baik, dan membahas langkah demi langkah, contoh bagaimana Anda sebenarnya melakukan pemilihan model.

— probabilityislogic
sumber

+1 besar. Analisis yang sangat bijaksana dan jelas.

— whuber

Jawaban yang bagus Saya harus menyebutkan bahwa menilai dari kelas model tertentu, BIC hebat. Namun, sebagian besar waktu, seperti yang Anda sebutkan, model sebenarnya berada di luar ruang model. Kemudian, sekali lagi seperti yang Anda sebutkan, kedekatan antara model sejati dan "model terbaik" masuk akal. Ini adalah jawaban yang AIC dan IC lain coba jawab. BMA berfungsi, tetapi juga terbukti tidak berfungsi. Ini bukan untuk mengatakan itu buruk, tetapi kita harus berhati-hati ketika memikirkannya sebagai alternatif universal.

— suncoolsu

1

C R A P = C R A P = \frac{1}{N} \sum_{i = 1}^{N} C R A P_{i}

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$

4

Saya tahu orang menggunakan DIC dan faktor Bayes, seperti kata suncoolsu. Dan saya tertarik ketika dia berkata "Ada hasil yang menunjukkan bahwa BIC akan memilih model yang benar dengan probabilitas tinggi" (referensi?). Tetapi saya menggunakan satu-satunya hal yang saya tahu, yaitu pemeriksaan prediktif posterior, diperjuangkan oleh Andrew Gelman. Jika Anda google Andrew Gelman dan cek prediktif posterior Anda akan menemukan banyak hal. Dan saya akan melihat apa yang ditulis Christian Robert di ABC tentang pilihan model . Bagaimanapun, berikut adalah beberapa referensi yang saya sukai, dan beberapa posting terbaru di blog Gelman:

Blog

DIC dan AIC ; Lebih lanjut tentang DIC . Pengecekan model dan validasi eksternal

Makalah tentang pemeriksaan prediktif posterior:

Gelman, Andrew. (2003a). "Formulasi Bayesian tentang Analisis Data Eksplorasi dan Pengujian Good-of-fit". Tinjauan Statistik Internasional, vol. 71, n.2, hlm. 389-382.

Gelman, Andrew. (2003b). "Analisis Data Eksplorasi untuk Model Kompleks". Jurnal Statistik Komputasi dan Grafik, vol. 13, n. 4, hlm. 755/779.

Gelman, Andrew; MECHELEN, Iven Van; VERBEKE, Geert; HEITJAN, Daniel F .; MEULDERS, Michel. (2005). “Beberapa Imputasi untuk Memeriksa Model: Plot-Data Lengkap dengan Data yang Hilang dan Laten.” Biometrik 61, 74–85, Maret

Gelman, Andrew; MENG, Xiao-Li; STERN, Hal. (1996). "Posterior Predictive Assessment Model Fitness via Realisasi Perbedaan". Statistica Sinica, 6, hlm. 733-807.

— Manoel Galdino
sumber