Bagaimana orang Bayesian membandingkan distribusi?

Jadi, saya pikir saya memiliki pemahaman yang baik tentang dasar-dasar probabilitas dan analisis statistik frequentist (dan seberapa buruk itu dapat digunakan). Dalam dunia yang sering terjadi, masuk akal untuk mengajukan pertanyaan seperti "apakah distribusi ini berbeda dari distribusi itu", karena distribusi diasumsikan nyata, obyektif dan tidak berubah (untuk situasi tertentu, setidaknya), dan kita dapat mencari mengetahui seberapa besar kemungkinan satu sampel diambil dari distribusi yang berbentuk seperti sampel lain.

Dalam pandangan dunia Bayesian, kami hanya peduli tentang apa yang kami harapkan untuk dilihat, mengingat pengalaman masa lalu kami (saya masih agak kabur pada bagian ini, tetapi saya memahami konsep pembaruan Bayesian). Jika demikian, bagaimana bisa Bayesian mengatakan "set data ini berbeda dari set data"?

Untuk keperluan pertanyaan ini, saya tidak peduli tentang signifikansi statistik, atau yang serupa, hanya bagaimana mengukur perbedaan. Saya sama tertarik pada distribusi parametrik dan non-parametrik.

Pikirkan pernyataan Anda sebagai seorang Frequentist dan buatlah itu lebih spesifik terlebih dahulu. Seorang Frequentist tidak dapat mengatakan bahwa "kumpulan data A berbeda dari kumpulan data B", tanpa klarifikasi lebih lanjut.

Pertama, Anda harus menyatakan apa yang Anda maksud dengan "berbeda". Mungkin maksud Anda "memiliki nilai rata-rata yang berbeda". Kemudian lagi, Anda mungkin berarti "memiliki varian yang berbeda". Atau mungkin sesuatu yang lain?

Kemudian, Anda harus menyatakan tes seperti apa yang akan Anda gunakan, yang tergantung pada apa yang Anda yakini sebagai asumsi yang valid tentang data tersebut. Apakah Anda berasumsi bahwa kumpulan data terdistribusi normal tentang beberapa cara? Atau apakah Anda yakin keduanya terdistribusi Beta? Atau sesuatu yang lain?

Sekarang dapatkah Anda melihat bahwa keputusan kedua sama seperti prior dalam statistik Bayesian? Ini bukan hanya "pengalaman masa lalu saya", tetapi lebih pada apa yang saya yakini, dan apa yang saya yakini teman-teman saya yakini, adalah asumsi yang masuk akal tentang data saya. (Dan orang Bayesian dapat menggunakan prior yang seragam, yang mendorong berbagai hal ke arah kalkulasi Frequentist.)

EDIT: Menanggapi komentar Anda: langkah selanjutnya terkandung dalam keputusan pertama yang saya sebutkan. Jika Anda ingin memutuskan apakah cara dua kelompok berbeda, Anda akan melihat distribusi perbedaan cara dua kelompok untuk melihat apakah distribusi ini mengandung atau tidak mengandung nol, pada tingkat kepercayaan tertentu. Seberapa dekat dengan nol Anda menghitung sebagai nol dan bagian mana dari distribusi (posterior) yang Anda gunakan ditentukan oleh Anda dan tingkat kepercayaan yang Anda inginkan.

Sebuah diskusi tentang ide-ide ini dapat ditemukan dalam sebuah makalah oleh Kruschke , yang juga menulis sebuah buku yang sangat mudah dibaca, Melakukan Analisis Data Bayesian , yang mencakup contoh di halaman 307-309, "Are Different Groups Equal?". (Edisi kedua: hlm. 468-472). Ia juga memiliki posting blog tentang hal itu , dengan beberapa tanya jawab.

EDIT LEBIH LANJUT: Deskripsi Anda tentang proses Bayesian juga tidak sepenuhnya benar. Bayesians hanya peduli tentang apa yang data katakan kepada kami, mengingat apa yang kami tahu terlepas dari data. (Seperti yang Kruschke tunjukkan, yang sebelumnya tidak harus terjadi sebelum data. Itulah yang tersirat dari frasa tersebut, tetapi itu benar-benar hanya pengetahuan kita yang mengecualikan beberapa data.) Apa yang kita ketahui secara independen dari sekumpulan data tertentu mungkin kabur atau spesifik dan mungkin didasarkan pada konsensus, model proses pembuatan data yang mendasarinya, atau mungkin hanya hasil dari eksperimen lain (tidak harus sebelumnya).

makalah ini mungkin menarik: http://arxiv.org/pdf/0906.4032v1.pdf

Ini memberikan ringkasan yang bagus dari beberapa pendekatan yang sering dan Bayesian untuk dua masalah sampel, dan membahas kasus parametrik dan nonparametrik.

Mungkin menambahkan sesuatu ke jawaban lain untuk memberikan contoh sederhana. Katakanlah Anda memiliki dua set data dan y di mana masing-masing x i dan masing-masing adalah atau . Anda menganggap model iid Bernoulli dalam kedua kasus, sehingga masing-masing dan setiap . Hipotesis Anda menguji skenario di kedua yang frequentist dan pengaturan Bayesian dapat:$\mathbf{x}$$\mathbf{y}$$x_i$ 0 1 x i ∼ B e r n ( p ) y i ∼ B e r n ( q $y_j$$0$$1$$x_i\sim Bern(p)$$y_i\sim Bern(q)$

$\mathcal{H}_0: \: \: p=q$

$\mathcal{H}_1: \: \: p,q$ tidak harus sama.

Kemungkinan data dalam setiap kasus adalah:

Di bawah :$\mathcal{H}_0$$L_0(p) = f(\mathbf{x},\mathbf{y};p) = \prod_i p^i (1-p)^{1-i} \prod_j p^j(1-p)^{1-j}$

Di bawah :$\mathcal{H}_1$$L_1(p,q) = f(\mathbf{x},\mathbf{y};p,q) = \prod_i p^i (1-p)^{1-i} \prod_j q^j(1-q)^{1-j}$

(sejak di bawah ). Pendekatan yang sering dilakukan untuk masalah mungkin adalah dengan melakukan uji rasio kemungkinan, di mana Anda menghitung statistik:$\mathcal{H}_0 \:\: q=p$

$W = -2\log\left\{ \frac{L_0(p_{max})}{L_1(p_{max},q_{max})}\right\},$

di mana menunjukkan estimasi kemungkinan maksimum untuk dan bawah hipotesis yang relevan (jadi dalam pembilang mungkin tidak sama dengan dalam penyebut). asimptotik mengikuti (lihat misalnya Pawitan, 2001), jadi Anda akan menentukan tingkat signifikansi dan menolak / gagal untuk menolak sesuai.$p_{max},q_{max}$$p$$q$$p_{max}$$p_{max}$$W$$\chi^2_1$$\mathcal{H}_0$

Secara tradisional, dalam pendekatan Bayesian statistik uji akan menjadi faktor Bayes. Pertama, Anda akan mengasumsikan beberapa prior prior bawah dan bawah . Faktor Bayes adalah rasio kemungkinan marjinal, yang diberikan oleh:$p\sim \pi_0$$\mathcal{H}_0$$p,q\sim \pi_1$$\mathcal{H}_1$

$BF = \frac{ f(\mathbf{x},\mathbf{y}|\mathcal{H}_0) }{f(\mathbf{x},\mathbf{y}|\mathcal{H}_1)} = \frac{ \int_0^1 L_0(p)\pi_0(p)dp}{\int_0^1 \int_0^1 L_1(p,q)\pi_1(p,q)dpdq}$ .

Faktor Bayes dapat dikombinasikan dengan beberapa keyakinan sebelumnya tentang kemungkinan atau benar, untuk memberikan probabilitas dibandingkan setelah melihat data . Jika kita mengasumsikan apriori bahwa setiap hipotesis memiliki kemungkinan yang sama, maka , maka ini memberi:$\mathcal{H}_0$$\mathcal{H}_1$$\mathcal{H}_0$$\mathcal{H}_1$ $p(\mathcal{H}_0)=p(\mathcal{H}_1) = 1/2$

$\frac{p(\mathcal{H}_0|\mathbf{x},\mathbf{y})}{p(\mathcal{H}_1|\mathbf{x},\mathbf{y})} = BF \times \frac{p(\mathcal{H}_0)}{p(\mathcal{H}_1)} = BF \times \frac{1/2}{1/2} = BF.$

Secara intuitif, jika rasio ini , maka probabilitas posterior dari lebih besar dari , jadi Anda akan mengatakan bahwa memiliki probabilitas lebih tinggi untuk menjadi kenyataan di bawah ini asumsi untuk prior dan model.$>1$$\mathcal{H}_0$$\mathcal{H}_1$$\mathcal{H}_0$

Satu hal yang menyenangkan tentang faktor Bayes adalah bagaimana hal itu secara otomatis menghukum model yang lebih kompleks (seperti sini). Sebuah makalah yang bagus menawarkan beberapa intuisi ada di sini: http://quasar.as.utexas.edu/papers/ockham.pdf .$\mathcal{H}_1$

Harapan yang membantu bersama dengan jawaban lain yang sudah diposting.

Dengan data yang diberikan, seberapa kuat kita percaya bahwa 2 kelompok tidak berasal dari populasi yang sama (H_1: mereka tidak berasal dari populasi yang sama vs H_0: mereka berasal dari populasi yang sama). Ini dapat dilakukan dengan uji-Bayesian.

Kompleksitas digunakan untuk mencari tahu berapa banyak yang sebelumnya tumpang tindih dengan satu hipotesis. Fit digunakan untuk mencari tahu seberapa besar posterior tumpang tindih dengan satu hipotesis. Gabungan Anda dapat membandingkan hipotesis dan mengekspresikan keyakinan posterior Anda apakah mereka berasal dari populasi yang sama atau tidak.