Kapan MCMC menjadi biasa?

Adakah yang tahu sekitar tahun berapa MCMC menjadi hal yang biasa (yaitu, metode populer untuk inferensi Bayesian)? Tautan ke jumlah artikel MCMC (jurnal) yang diterbitkan seiring waktu akan sangat membantu.

bayesian mcmc history

— Ethan Arenson
sumber

Saya ragu ada yang bisa menyediakan satu tahun. Lebih masuk akal untuk mempertimbangkan difusi MCMC dari waktu ke waktu. Ini berasal pada 50-an dengan algoritma Metropolis-Hastings tetapi tidak melihat adopsi luas dan digunakan sampai munculnya kekuatan komputasi yang relatif murah dimulai pada 80-an. Sejauh pengetahuan saya, kegunaan pertama adalah teknologi pengenalan wajah Bayesian saat itu. Kedua, mulai tahun 90-an, penggunaan MCMC menyebar ke bidang lain seperti ekonomi & pemasaran dengan sekolah Chicago. Lihatlah GilMs & Spiegelhalter's 1996 Practical MCMC .

— user332577

Pertanyaan ini tidak jelas dan membutuhkan opini (tidak ada definisi umum atau populer yang diterima). Itu mengakui sejumlah jawaban yang bisa dibilang benar.

— Glen_b -Reinstate Monica

@ Glen_b Saya pikir jawaban yang diberikan di bawah ini sangat bagus. Apakah Anda tidak setuju? Atau apakah Anda menulis komentar sebelum jawaban itu? (Keduanya hanya mengatakan 'kemarin').

— Peter Flom - Pasang kembali Monica

@Peter Mine datang sebelum salah satu jawaban; arahkan mouse Anda ke kata "kemarin" pada masing-masing (atau apa pun yang menunjukkan waktu yang berlalu sejak memposting) untuk melihat waktu UTC yang tepat. Saya pikir jawaban yang Anda sebutkan adalah jawaban parsial yang baik tetapi pertanyaan itu masih akan mengakui beberapa yang sama sekali berbeda tanpa dasar yang baik untuk memilih di antara mereka.

— Glen_b -Reinstate Monica

Jawaban:

Makalah ini oleh Christian (Xi'an) Robert dan George Casella memberikan ringkasan yang bagus tentang sejarah MCMC. Dari kertas (penekanan adalah milikku).

Apa yang dapat dilihat secara wajar sebagai algoritma MCMC pertama adalah apa yang sekarang kita sebut algoritma Metropolis, yang diterbitkan oleh Metropolis et al. (1953). Ini berasal dari kelompok ilmuwan yang sama yang menghasilkan metode Monte Carlo, yaitu, para ilmuwan penelitian Los Alamos, sebagian besar fisikawan yang bekerja pada fisika matematika dan bom atom.

Algoritma Metropolis kemudian digeneralisasikan oleh Hastings (1970) dan muridnya Peskun (1973,1981)

Meskipun agak dihapus dari inferensi statistik dalam pengertian klasik dan berdasarkan teknik sebelumnya yang digunakan dalam Fisika Statistik, makalah tengara oleh Geman dan Geman (1984) membawa sampel Gibbs ke dalam arena aplikasi statistik. Makalah ini juga bertanggung jawab untuk pengambilan sampel nama Gibbs

Secara khusus, Geman dan Geman (1984) mempengaruhi Gelfand dan Smith (1990) untuk menulis makalah yang merupakan titik awal asli untuk penggunaan intensif metode MCMC oleh komunitas statistik arus utama . Ini memicu minat baru dalam metode Bayesian, komputasi statistik, algoritma dan proses stokastik melalui penggunaan algoritma komputasi seperti Gibbs sampler dan algoritma Metropolis-Hastings.

Menariknya, makalah sebelumnya oleh Tanner dan Wong (1987) pada dasarnya memiliki bahan yang sama seperti Gelfand dan Smith (1990), yaitu, fakta bahwa simulasi dari distribusi bersyarat cukup untuk mensimulasikan secara asimtotik dari sambungan. Makalah ini dianggap cukup penting untuk menjadi makalah diskusi dalam Jurnal Asosiasi Statistik Amerika, tetapi dampaknya entah bagaimana terbatas, dibandingkan dengan Gelfand dan Smith (1990).

Saya tidak dapat menemukan jumlah artikel jurnal yang diterbitkan dari waktu ke waktu, tetapi di sini ada plot Google Ngram untuk jumlah yang disebutkan dari waktu ke waktu. Kurang lebih setuju dengan gagasan bahwa MCMC menjadi biasa setelah kertas 1990 Gelfand dan Smith.

— knrumsey - Pasang kembali Monica
sumber

Terima kasih! Saya akan menganggap tahun 1990 sebagai tanggal paling penting dalam sejarah MCMC, ketika empat makalah oleh Alan Gelfand dan Adrian Smith muncul tahun itu di jurnal Statistik utama dan membuat konsep menggunakan rantai Markov untuk simulasi yang tiba-tiba menjadi arus utama. Saya ingat menghadiri sebuah ceramah oleh Adrian Smith pada Juni 1989 di Seherbrooke (PQ) di mana ia mendemonstrasikan universalitas gagasan itu dengan memperlihatkan slide dengan beberapa baris kode (Fortran?).

— Xi'an

Jawaban yang sangat bagus dari Knrumsey memberikan beberapa sejarah tentang perkembangan pekerjaan akademik yang penting di MCMC. Salah satu aspek lain yang perlu diperiksa adalah pengembangan perangkat lunak untuk memfasilitasi MCMC oleh pengguna biasa. Metode statistik sering digunakan sebagian besar oleh spesialis sampai mereka diimplementasikan dalam perangkat lunak yang memungkinkan pengguna biasa untuk mengimplementasikannya tanpa pemrograman. Sebagai contoh, BUGS perangkat lunak memiliki rilis pertama pada tahun 1997. Itu tampaknya tidak mengubah lintasan pertumbuhan dalam plot N-Gram, tetapi itu mungkin memiliki pengaruh dalam membawa metode ini menjadi penggunaan umum di antara para pengguna yang menemukannya mengintimidasi untuk memprogram rutinitas mereka sendiri.

— Pasang kembali Monica
sumber

Huh, ada sedikit perubahan dalam jalur untuk MCMC sekitar tahun 1997.

— muru

Terlihat dengan baik - tidak yakin apakah itu akan menjadi perubahan yang cukup besar untuk menjadi signifikan secara statistik, tetapi tetap dicatat.

— Pasang kembali Monica

Perkiraan visual, jika kemiringan sebelum 1997 dipertahankan, kita akan melihat sekitar 0,000015% sekitar tahun 2004 (tetapi nilai sebenarnya mendekati 0,0000225%). Itu peningkatan 50%. Tapi saya kira angkanya terlalu kecil.

— muru

Mungkin Anda benar - mata yang bagus!

— Pasang kembali Monica

hmmm, BUGS dipresentasikan pada konferensi Statistik Valencia Bayesian pada tahun 1991.

— Xi'an