Bootstrap vs Bayesian Bootstrap konseptual?

Saya mengalami kesulitan memahami apa proses Bootstrap Bayesian, dan bagaimana hal itu akan berbeda dari bootstrap normal Anda. Dan jika seseorang dapat menawarkan tinjauan intuitif / konseptual dan perbandingan keduanya, itu akan bagus.

Mari kita ambil contoh.

Katakanlah kita memiliki X dataset yang [1,2,5,7,3].

Jika kita sampel dengan penggantian beberapa kali untuk membuat ukuran sampel sama dengan ukuran X (jadi, [7,7,2,5,7], [3,5,2,2,7], dll), lalu kita menghitung sarana masing-masing, apakah distribusi bootstrap rata-rata sampel?

Apa yang akan menjadi distribusi bootstrap bayesian itu?

Dan bagaimana distribusi bootstrap bayesian dari parameter lain (varians, dll) dilakukan dengan cara yang sama?

bayesian sampling bootstrap

— SpicyClubSauce
sumber

Lihat sumsar.net/blog/2015/04/… dan projecteuclid.org/euclid.aos/1176345338 , mungkin @ rasmus-bååth dapat menjawab Anda;)

— Tim

The (frequentist) bootstrap mengambil data sebagai pendekatan yang masuk akal untuk distribusi penduduk yang tidak diketahui. Oleh karena itu, distribusi sampling dari suatu statistik (fungsi data) dapat diperkirakan dengan mengulangi pengamatan berulang kali dengan penggantian dan menghitung statistik untuk setiap sampel.

Biarkan menunjukkan data asli. (Dalam contoh yang diberikan, ) Misalkan menunjukkan sampel bootstrap. Sampel tersebut mungkin akan memiliki beberapa pengamatan berulang satu kali atau lebih dan pengamatan lainnya akan absen. Mean dari sampel bootstrap diberikan oleh $y = (y_1,\ldots,y_n)$ $n=5$ $y^b = (y_1^b, \ldots, y_n^b)$ Ini adalah distribusiselama beberapa ulangan bootstrap yang digunakan untuk mendekati distribusi sampling dari populasi yang tidak diketahui.

m_{b} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}^{b} .

$m_b = \frac{1}{n} \sum_{i=1}^n y_i^b.$

m_{b}

$m_b$

Dalam rangka untuk memahami hubungan antara bootstrap frequentist dan bootstrap Bayesian, itu adalah pelajaran untuk melihat bagaimana untuk menghitung dari perspektif yang berbeda. $m_b$

Dalam setiap sampel bootstrap , setiap pengamatan terjadi di mana saja dari 0 sampai kali. Misalkan menyatakan berapa kali muncul dalam , dan misalkan . Dengan demikian $y^b$ $y_i$ $n$ $h_i^b$ $y_i$ $y^b$ $h^b = (h_1^b, \ldots, h_n^b)$ $h_i^b \in \{0, 1, \ldots, n-1,n\}$ dan . Mengingat , kita dapat membangun koleksi bobot non-negatif yang berjumlah satu: , di mana . Dengan notasi ini kita bisa reexpress mean dari sampel bootstrap sebagai $\sum_{i=1}^n h_i^b = n$ $h^b$ $w^b = h^b/n$ $w_i^b = h_i^b/n$

m_{b} = \sum_{saya = 1}^{n} w_{saya}^{b} y_{saya} .

$m_b = \sum_{i=1}^n w_i^b\, y_i.$

Cara di mana pengamatan dipilih untuk sampel bootstrap menentukan distribusi bersama untuk . Secara khusus, memiliki distribusi multinomial dan dengan demikian $w^b$ $h^b$ Oleh karena itu, kita dapat menghitung dengan menggambar dari distribusi dan menghitung dot produk dengan . Dari perspektif baru ini, tampak bahwa pengamatantetapsementara bobotnya bervariasi.

(n w^{b}) \sim Multinomial (n, (1 / n)_{saya = 1}^{n}) .

$(n\,w^b) \sim \textsf{Multinomial}(n,(1/n)_{i=1}^n).$

m_{b}

$m_b$

w^{b}

$w^b$

y

$y$

Dalam inferensi Bayesian, pengamatan memang dilakukan sebagai tetap, sehingga perspektif baru ini tampaknya cocok dengan pendekatan Bayesian. Memang, perhitungan rata-rata sesuai dengan bootstrap Bayesian hanya berbeda dalam distribusi bobot. (Namun demikian, dari sudut pandang konseptual bootstrap Bayesian sangat berbeda dari versi frequentist.) Data diperbaiki dan bobot adalah parameter yang tidak diketahui. Kita mungkin tertarik pada beberapa fungsional dari data yang tergantung pada parameter yang tidak diketahui: $y$ $w$

μ = \sum_{saya = 1}^{n} w_{saya} y_{saya} .

$\mu = \sum_{i=1}^n w_i\, y_i.$

Berikut ini adalah sketsa gambar kecil dari model di belakang bootstrap Bayesian: Distribusi pengambilan sampel untuk pengamatan adalah multinomial dan sebelum bobot adalah distribusi Dirichlet yang membatasi yang menempatkan semua bobotnya pada simpul simpleks. (Beberapa penulis menyebut model ini sebagai model kemungkinan multinomial .)

w \sim Dirichlet (1, ..., 1) .

$w \sim \textsf{Dirichlet}(1,\ldots,1).$

$\mu$ $w$ $y$

\sum_{saya = 1}^{n} w_{saya} g (y_{saya}, θ) = \underline{0},

$\sum_{i=1}^n w_i\, g(y_i,\theta) = \underline 0,$

g (y_{i}, θ)

$g(y_i,\theta)$

θ

$\theta$

\underline{0}

$\underline 0$

θ

$\theta$

y

$y$

w

$w$

w

$w$ kemungkinan empiris dan dengan metode momen umum (GMM).)

\sum_{saya = 1}^{n} w_{saya} (y_{saya} - μ) = 0.

$\sum_{i=1}^n w_i\,(y_i - \mu) = 0.$

θ = (μ, v)

$\theta = (\mu,v)$

g (y_{saya}, θ) = (\begin{matrix} y_{saya} - μ \\ (y_{saya} - μ)^{2} - v \end{matrix}) .

$g(y_i,\theta) = \begin{pmatrix} y_i - \mu \\ (y_i - \mu)^2 - v \end{pmatrix}.$

— mef
sumber

Terima kasih untuk uraiannya yang sangat rinci. Secara pribadi saya akan menghargai pernyataan singkat tentang kapan harus memilih masing-masing.

— ErichBSchulz