Diagnostik residual dalam model regresi berbasis MCMC

Saya baru-baru ini memulai model campuran regresi pas dalam kerangka Bayesian, menggunakan algoritma MCMC (fungsi MCMCglmm dalam R sebenarnya).

Saya percaya saya telah mengerti bagaimana cara mendiagnosis konvergensi proses estimasi (jejak, alur geweke, autokorelasi, distribusi posterior ...).

Salah satu hal yang mengejutkan saya dalam kerangka Bayesian adalah bahwa banyak upaya yang tampaknya dilakukan untuk melakukan diagnostik tersebut, sedangkan sangat sedikit yang tampaknya dilakukan dalam hal memeriksa residu dari model yang dipasang. Misalnya dalam MCMCglmm, fungsi residual.mcmc () memang ada tetapi sebenarnya belum diimplementasikan (ie.returns: "residual belum diimplementasikan untuk objek MCMCglmm"; cerita yang sama untuk predict.mcmc ()). Tampaknya kurang dari paket lain juga, dan lebih umum sedikit dibahas dalam literatur yang saya temukan (terlepas dari DIC yang cukup banyak dibahas juga).

Adakah yang bisa mengarahkan saya ke beberapa referensi yang bermanfaat, dan idealnya kode R yang bisa saya mainkan atau modifikasi?

Terimakasih banyak.

— Rossinante
sumber

Pertanyaan bagus Saya sangat suka makalah Andrew Gelman dengan Cosma Shalizi tentang pengecekan model Bayesian.

— David J. Harris

Saya pikir penggunaan istilah residual tidak konsisten dengan regresi Bayesian. Ingat, dalam model probabilitas frequentist, itu adalah parameter yang dianggap jumlah yang dapat diperkirakan tetap dan mekanisme penghasil data memiliki beberapa model probabilitas acak yang terkait dengan data yang diamati. Untuk Bayesian, parameter model probabilitas dianggap variabel dan data tetap memperbarui keyakinan kami tentang apa parameter itu. Oleh karena itu, jika Anda menghitung varians dari nilai yang dicocokkan minus yang diamati dalam model regresi, yang diamatikomponen akan memiliki 0 varians sedangkan komponen yang dipasang akan bervariasi sebagai fungsi dari kepadatan probabilitas posterior untuk parameter model. Ini adalah kebalikan dari apa yang akan Anda dapatkan dari model regresi frequentist. Saya pikir jika seseorang tertarik untuk memeriksa asumsi probabilistik dari model regresi Bayesian mereka, QQplot sederhana dari perkiraan kepadatan parameter posterior (diperkirakan dari sampel MCMC kami) versus distribusi normal akan memiliki kekuatan diagnostik yang analog dengan menganalisis residu (atau residu Pearson) untuk fungsi tautan non-linear).

— AdamO
sumber

Ini jawaban yang bagus. Mungkin ada jawaban yang memberikan konstruksi Bayesian yang berguna yang dihitung dari residu yang diamati-minus-pas, tetapi yang ini tentu tidak seharusnya diturunkan.

— ely

Juga, mungkin perlu diperjelas bahwa dalam pengaturan Bayesian Anda tidak benar-benar memiliki nilai "pas". Anda bisa menghitung rata-rata posterior untuk input pengamatan yang diberikan, untuk mendapatkan estimasi posteriori maksimum dari nilai yang diharapkan dari variabel target pada input tersebut. Tetapi ini akan mengurangi segalanya ke titik perkiraan, yang biasanya tidak diinginkan jika Anda melakukan inferensi Bayesian.

— ely

@ EMS semua itu adalah residu yang bermakna. Hanya karena seseorang adalah Bayesian tidak berarti seseorang tidak dapat memeriksa apakah asumsi tersebut tercermin dalam data.

— Glen_b -Reinstate Monica

Untuk inferensi probabilistik yang tepat (asumsi normal di tempat) dalam pengaturan frequentist, "residual" akan, dalam replikasi percobaan penelitian, secara kondisional independen dari "nilai pas" (atau conditional mean). Di dunia Bayes, data tidak acak, jadi apa yang secara kondisional tidak tergantung pada apa?

— AdamO

E [Y | X]

$\mbox{E}[Y|X]$

X

$X$

Y

$Y$