Ok, ini pertanyaan yang membuat saya terjaga di malam hari.

Dapatkah prosedur bootstrap diartikan sebagai mendekati beberapa prosedur Bayesian (kecuali untuk bootstrap Bayesian)?

Saya sangat suka "interpretasi" Bayes tentang statistik yang saya temukan dengan baik koheren dan mudah dimengerti. Namun, saya juga memiliki kelemahan untuk prosedur bootstrap yang sangat sederhana, namun memberikan kesimpulan yang masuk akal dalam banyak situasi. Saya akan lebih senang dengan bootstrap, jika saya tahu bahwa bootstrap mendekati distribusi posterior dalam beberapa hal.

Saya tahu "Bayesian bootstrap" (Rubin, 1981), tetapi dari sudut pandang saya bahwa versi bootstrap sama bermasalahnya dengan bootstrap standar. Masalahnya adalah asumsi model yang benar-benar aneh yang Anda buat, baik ketika melakukan bootstrap klasik dan Bayesian, yaitu, nilai-nilai yang mungkin dari distribusi hanya nilai-nilai yang sudah saya lihat. Bagaimana asumsi model aneh ini masih menghasilkan kesimpulan yang sangat masuk akal bahwa prosedur bootstrap menghasilkan? Saya telah mencari artikel yang telah menyelidiki sifat-sifat bootstrap (misalnya Weng, 1989) tetapi saya belum menemukan penjelasan yang jelas yang saya sukai.

Referensi

Donald B. Rubin (1981). Bayesian Bootstrap. Ann. Statist. Volume 9, Nomor 1, 130-134.

Chung-Sing Weng (1989). Pada Properti Asimptotik Orde Kedua dari Bootstrap Bayesian Mean. The Annals of Statistics , Vol. 17, No. 2, hlm. 705-710.

Bagian 8.4 dari Elemen Pembelajaran Statistik oleh Hastie, Tibshirani, dan Friedman adalah "Hubungan Antara Bootstrap dan Bayesian Inference." Mungkin itu yang Anda cari. Saya percaya bahwa buku ini tersedia secara bebas melalui situs web Stanford, walaupun saya tidak memiliki tautannya.

Edit:

Berikut ini tautan ke buku tersebut, yang telah disediakan secara gratis oleh penulis secara online:

http://www-stat.stanford.edu/~tibs/ElemStatLearn/

Di halaman 272, penulis menulis:

Dalam pengertian ini, distribusi bootstrap mewakili (perkiraan) distribusi posterior nonparametrik, noninformatif untuk parameter kami. Tetapi distribusi bootstrap ini diperoleh tanpa rasa sakit - tanpa harus secara formal menentukan sebelum dan tanpa harus mengambil sampel dari distribusi posterior. Karena itu, kita mungkin menganggap distribusi bootstrap sebagai posterior Bayes “poor man's”. Dengan mengganggu data, bootstrap mendekati efek Bayesian yang mengganggu parameter, dan biasanya lebih mudah dilakukan.

Satu lagi potongan teka-teki ditemukan dalam pertanyaan yang divalidasi silang ini yang menyebutkan ketidaksetaraan Dvoretzky-Kiefer-Wolfowitz yang "menunjukkan [...] bahwa fungsi distribusi empiris menyatu secara seragam ke fungsi distribusi yang benar secara eksponensial cepat dalam probabilitas."

Jadi, keseluruhan bootstrap non-parametrik dapat dilihat sebagai metode asimptotik yang menghasilkan "suatu (perkiraan) distribusi posterior nonparametrik, noninformatif untuk parameter kami" dan di mana perkiraan ini menjadi lebih baik "cepat secara eksponensial" ketika jumlah sampel meningkat.

Ini adalah makalah terbaru yang pernah saya lihat tentang subjek:

@article{efr13bay,
author={Efron, Bradley},
title={Bayesian inference and the parametric bootstrap},
journal={Annals of Applied Statistics},
volume=6,
number=4,
pages={1971-1997},
year=2012,
doi={10.1214/12-AOAS571},
abstract={Summary: The parametric bootstrap can be used for the efficient
    computation of Bayes posterior distributions. Importance sampling formulas
    take on an easy form relating to the deviance in exponential families and
    are particularly simple starting from Jeffreys invariant prior. Because of
    the i.i.d. nature of bootstrap sampling, familiar formulas describe the
    computational accuracy of the Bayes estimates. Besides computational
    methods, the theory provides a connection between Bayesian and frequentist
    analysis. Efficient algorithms for the frequentist accuracy of Bayesian
    inferences are developed and demonstrated in a model selection example.},
keywords={Jeffreys prior; exponential families; deviance; generalized linear
    models},
classmath={*62F15 (Bayesian inference)
62F40 (Resampling methods)
62J12 (Generalized linear models)
65C60 (Computational problems in statistics)}}

Saya juga tergoda oleh kedua bootstraping dan teorema Bayes, tetapi saya tidak bisa memahami pembenaran dari bootstrap sampai saya melihatnya dari perspektif Bayesian. Kemudian - seperti yang saya jelaskan di bawah ini - distribusi bootstrap dapat dilihat sebagai distribusi posterior Bayesian, yang membuat alasan (a?) Di balik bootstrap terlihat jelas, dan juga memiliki keuntungan mengklarifikasi asumsi yang dibuat. Ada lebih banyak detail dari argumen di bawah ini, dan asumsi yang dibuat, di https://arxiv.org/abs/1803.06214 (halaman 22-26).

Sebagai contoh, yang diatur pada spreadsheet di http://woodm.myweb.port.ac.uk/SL/resample.xlsx (klik pada tab bootstrap di bagian bawah layar), misalkan kita punya sampel dari 9 pengukuran dengan rata-rata 60. Ketika saya menggunakan spreadsheet untuk menghasilkan 1000 sampel dengan penggantian dari sampel ini dan membulatkan rata-rata ke angka genap terdekat, 82 dari rata-rata ini adalah 54. Gagasan tentang bootstrap adalah bahwa kami menggunakan sampel sebagai populasi "pura-pura" untuk melihat bagaimana variabel berarti sampel 9 kemungkinan, jadi ini menunjukkan bahwa probabilitas sampel rata-rata menjadi 6 di bawah rata-rata populasi (dalam hal ini populasi berpura-pura berdasarkan sampel dengan rata-rata 60) adalah 8,2%. Dan kita bisa sampai pada kesimpulan yang sama tentang bar lain dalam histogram resampling.

Sekarang mari kita bayangkan bahwa kebenarannya adalah bahwa rata-rata populasi sebenarnya adalah 66. Jika demikian perkiraan kami tentang probabilitas sampel rata-rata menjadi 60 (yaitu Data) adalah 8,2% (menggunakan kesimpulan dalam paragraf di atas mengingat bahwa 60 adalah 6 di bawah rata-rata populasi yang dihipotesiskan dari 66). Mari menulis ini sebagai

P (Data yang diberikan Mean = 66) = 8,2%

dan probabilitas ini sesuai dengan nilai x 54 pada distribusi resampling. Argumen yang sama berlaku untuk setiap kemungkinan populasi dari 0, 2, 4 ... 100. Dalam setiap kasus probabilitas berasal dari distribusi sampel ulang - tetapi distribusi ini tercermin tentang rata-rata 60.

Sekarang mari kita terapkan teorema Bayes. Pengukuran tersebut hanya dapat mengambil nilai antara 0 dan 100, sehingga pembulatan ke bilangan genap terdekat kemungkinan untuk rata-rata populasi adalah 0, 2, 4, 6, .... 100. Jika kita mengasumsikan bahwa distribusi sebelumnya adalah datar, masing-masing memiliki probabilitas sebelumnya 2% (hingga 1 dp), dan teorema Bayes memberi tahu kita bahwa

P (PopMean = 66 Data yang diberikan) = 8,2% * 2% / P (Data)

dimana

P (Data) = P (PopMean = 0 Data yang diberikan) * 2% + P (PopMean = 2 Data yang diberikan) * 2% + ... + P (PopMean = 100 Data yang diberikan) * 2%

Kita sekarang dapat membatalkan 2% dan ingat bahwa jumlah probabilitas harus 1 karena probabilitas hanyalah dari distribusi resampling. Yang meninggalkan kita dengan kesimpulan itu

P (PopMean = 66) = 8.2%

Mengingat bahwa 8,2% adalah probabilitas dari distribusi resampling yang sesuai dengan 54 (bukan 66), distribusi posterior hanyalah distribusi resampling yang tercermin tentang mean sampel (60). Lebih lanjut, jika distribusi sampel ulang simetris dalam arti bahwa asimetri adalah acak - seperti dalam kasus ini dan banyak kasus lainnya, kita dapat menganggap distribusi sampel sebagai identik dengan distribusi probabilitas posterior.

Argumen ini membuat berbagai asumsi, yang utama adalah bahwa distribusi sebelumnya seragam. Ini dijabarkan lebih rinci dalam artikel yang dikutip di atas.