Mengapa pertukaran variabel acak sangat penting dalam model bayesian hirarkis?

Mengapa pertukaran variabel acak sangat penting untuk pemodelan Bayesian hirarkis?

Pertukaran bukanlah fitur penting dari model hirarkis (setidaknya tidak pada tingkat pengamatan). Ini pada dasarnya adalah analog Bayesian dari "independen dan identik" dari literatur standar. Ini hanyalah cara menggambarkan apa yang Anda ketahui tentang situasi yang dihadapi. Ini adalah bahwa "menyeret" tidak mengubah masalah Anda. Salah satu cara saya suka memikirkan ini adalah dengan mempertimbangkan kasus di mana Anda diberi tetapi Anda tidak diberi tahu nilai . Jika mengetahui bahwa akan mengarahkan Anda untuk mencurigai nilai-nilai tertentu lebih dari yang lain, maka urutannya tidak dapat ditukar. Jika tidak ada yang memberitahumu tentangj x j = 5 j $x_{j}=5$$j$$x_{j}=5$$j$$j$, maka urutannya dapat ditukar. Perhatikan bahwa exhcangeability adalah "dalam informasi" dan bukan "dalam kenyataan" - tergantung pada apa yang Anda ketahui.

Sementara nilai tukar tidak penting dalam hal variabel yang diamati, mungkin akan cukup sulit untuk mencocokkan model apa pun tanpa gagasan tentang nilai tukar, karena tanpa nilai tukar Anda pada dasarnya tidak memiliki justifikasi untuk mengumpulkan pengamatan bersama. Jadi tebakan saya adalah kesimpulan Anda akan jauh lebih lemah jika Anda tidak memiliki nilai tukar di suatu tempat dalam model. Sebagai contoh, perhatikan untuk . Jika sepenuhnya dapat ditukar maka ini berarti dan . Jika dapat ditukar secara kondisional diberikan maka ini berartii = 1 , … , N x i μ i = μ σ i = σ x i μ i σ i = σ x i σ i μ i = μ N $x_{i}\sim N(\mu_{i},\sigma_{i})$$i=1,\dots,N$$x_{i}$$\mu_{i}=\mu$$\sigma_{i}=\sigma$$x_{i}$$\mu_{i}$$\sigma_{i}=\sigma$. Jika dapat ditukar secara kondisional diberikan maka ini berarti . Tetapi perhatikan bahwa dalam salah satu dari kedua kasus yang "dapat dipertukarkan secara kondisional" ini, kualitas kesimpulan berkurang dibandingkan yang pertama, karena ada parameter tambahan yang dimasukkan ke dalam masalah. Jika kita tidak memiliki pertukaran, maka pada dasarnya kita memiliki masalah yang tidak terkait.$x_{i}$$\sigma_{i}$$\mu_{i}=\mu$$N$$N$

Pada dasarnya kemampuan tukar berarti kita dapat membuat inferensi untuk setiap dan yang sebagian dapat dipertukarkan i $x_{i}\to \text{parameters}\to x_{j}$$i$$j$

"Esensial" terlalu kabur. Tetapi melampaui teknis, jika urutan dapat ditukar maka independen bersyarat diberikan beberapa parameter yang tidak teramati dengan distribusi probabilitas . Yaitu, . tidak perlu berdimensi univariat atau bahkan terbatas dan dapat direpresentasikan sebagai campuran, dll.X i Θ π p ( X ) = ∫ p ( X i | Θ ) d π ( Θ ) $X=\{X_i\}$$X_i$$\Theta$$\pi$$p(X) = \int p(X_i|\Theta)d\pi(\Theta)$$\Theta$

Pertukaran sangat penting dalam arti bahwa hubungan independensi bersyarat ini memungkinkan kita untuk menyesuaikan model yang hampir pasti tidak bisa kita lakukan dengan cara lain.

Bukan! Saya bukan ahli di sini, tetapi saya akan memberikan dua sen. Secara umum ketika Anda memiliki model hierarkis, katakanlah

$y|\Theta_{1} \sim \text{N}(X\Theta_{1},\sigma^2)$

$\Theta_{1}|\Theta_{2} \sim\text{N}(W\Theta_{2},\sigma^2)$

Kami membuat asumsi independensi bersyarat, yaitu, tergantung pada , dapat dipertukarkan. Jika level kedua tidak bisa ditukar, maka Anda bisa menambah level lain yang membuatnya bisa ditukar. Tetapi bahkan dalam kasus bahwa Anda tidak dapat membuat asumsi exchaganbelity, model tersebut mungkin masih cocok untuk data Anda di tingkat pertama. Θ $\Theta_{2}$$\Theta_{1}$

Terakhir, tetapi tidak kalah pentingnya, pertukaran adalah penting hanya jika Anda ingin berpikir tentang teorema representasi De Finetti. Anda mungkin berpikir bahwa prior adalah alat regularisasi yang membantu Anda menyesuaikan model. Dalam hal ini, asumsi nilai tukar sebaik model Anda cocok dengan data. Dengan kata lain, jika Anda menganggap model hierarkis Bayesian sebagai cara untuk mendapatkan kecocokan yang lebih baik dengan data Anda, maka kemampuan tukar tidak penting dalam arti apa pun.