Apa yang keren tentang teorema representasi de Finetti?

Dari Theory of Statistics oleh Mark J. Schervish (halaman 12):

Meskipun teorema 1,Finetti representasi 1,49 adalah pusat untuk memotivasi model parametrik, itu sebenarnya tidak digunakan dalam implementasi mereka.

Bagaimana teorema pusat untuk model parametrik?

— gui11aume
sumber

Saya pikir ini adalah pusat model Bayesian. Saya hanya membahas ini dengan singleton. Sangat penting dalam statistik Bayesian diabaikan kecuali oleh orang Bayesian yang adalah pengikut deFinetti. Lihat referensi Diaconis dan Freedman ini dari 1980

— Michael Chernick

@ cardinal: halaman 12 (saya memperbarui pertanyaan).

— gui11aume

Perhatikan bahwa Schervish berkata "... pusat ke model parametrik ...".

motivating

$\textbf{motivating}$

— Zen

Saya sering bertanya-tanya berapa banyak representasi itu "nyata" dan berapa banyak didasarkan pada interpretasi teorema tertentu. Ini bisa dengan mudah digunakan untuk menggambarkan distribusi sebelumnya seperti untuk menggambarkan model.

— probabilityislogic

Jawaban:

Teorema Representasi De Finetti memberikan dalam satu kesempatan, dalam interpretasi subyektifitas probabilitas, raison d'être model statistik dan makna parameter dan distribusi mereka sebelumnya.

Misalkan variabel acak mewakili hasil lemparan koin berturut-turut, dengan nilai dan -masing sesuai dengan hasil "Kepala" dan "Ekor". Menganalisis, dalam konteks interpretasi subyektifistik dari kalkulus probabilitas, makna model frequentist biasa di mana adalah independen dan terdistribusi secara identik, De Finetti mengamati bahwa kondisi independensi akan menyiratkan, misalnya, bahwa dan, oleh karena itu, hasil dari pertama lemparan tidak akan mengubah ketidakpastian saya tentang hasil $X_1,\dots,X_n$ $1$ $0$ $X_i$

P {X_{n} = x_{n} ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = P {X_{n} = x_{n}},

$P\{X_n=x_n\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = P\{X_n=x_n\} \, ,$

n - 1

$n-1$

n

$n$ lemparan ke-10. Sebagai contoh, jika saya percaya bahwa ini adalah koin seimbang, maka, setelah mendapatkan informasi bahwa lemparan pertama ternyata "Kepala", saya masih akan percaya, dengan syarat pada informasi itu, bahwa probabilitas mendapatkan "Heads" pada undian 1000 sama dengan . Secara efektif, hipotesis independensi akan menyiratkan bahwa tidak mungkin untuk belajar apa pun tentang koin dengan mengamati hasil lemparannya.

a priori

$\textit{a priori}$

999

$999$

1 / 2

$1/2$

X_{i}

$X_i$

Pengamatan ini membawa De Finetti pada pengenalan kondisi yang lebih lemah daripada independensi yang menyelesaikan kontradiksi yang tampak ini. Kunci dari solusi De Finetti adalah sejenis simetri distribusi yang dikenal sebagai pertukaran.

$\textbf{Definition.}$ Untuk himpunan terbatas yang diberikan dari objek acak, misalkan menunjukkan distribusi gabungannya. Himpunan terbatas ini dapat ditukar jika , untuk setiap permutasi . Urutan dari objek acak dapat ditukar jika masing-masing subset terbatasnya dapat dipertukarkan. $\{X_i\}_{i=1}^n$ $\mu_{X_1,\dots,X_n}$ $\mu_{X_1,\dots,X_n} = \mu_{X_{\pi(1)},\dots,X_{\pi(n)}}$ $\pi:\{1,\dots,n\}\to\{1,\dots,n\}$ $\{X_i\}_{i=1}^\infty$

Misalkan hanya bahwa urutan variabel acak dapat ditukar, De Finetti membuktikan teorema terkenal yang menyoroti makna model statistik yang umum digunakan. Dalam kasus khusus ketika mengambil nilai dan , Teorema Representasi De Finetti mengatakan bahwa dapat ditukar jika dan hanya jika ada variabel acak , dengan distribusi , sehingga di mana . Apalagi kita punya itu $\{X_i\}_{i=1}^\infty$ $X_i$ $0$ $1$ $\{X_i\}_{i=1}^\infty$ $\Theta:\Omega\to[0,1]$ $\mu_\Theta$

P {X_{1} = x_{1}, \dots, X_{n} = x_{n}} = \int_{[0, 1]} θ^{s} (1 - θ)^{n - s} d μ_{Θ} (θ),

$P\{X_1=x_1,\dots,X_n=x_n\} = \int_{[0,1]} \theta^s(1-\theta)^{n-s}\,d\mu_\Theta(\theta) \, ,$

s = \sum_{i = 1}^{n} x_{i}

$s=\sum_{i=1}^n x_i$

{\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \to_{n \to \infty}^{} Θ almost surely,

$\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \xrightarrow[n\to\infty]{} \Theta \qquad \textrm{almost surely},$ yang dikenal sebagai Hukum Kuat Sejumlah Besar De Finetti.

Teorema Representasi ini menunjukkan bagaimana model statistik muncul dalam konteks Bayesian: di bawah hipotesis pertukaran yang dapat diamati , a sedemikian sehingga, diberi nilai , yang dapat diamati adalah independen dan terdistribusi secara identik. Selain itu, hukum kuat De Finetti menunjukkan bahwa pendapat kami sebelumnya tentang tidak dapat diobservasi , yang diwakili oleh distribusi , adalah pendapat tentang batas , sebelum kita memiliki informasi tentang nilai-nilai realisasi. dari salah satu $\{X_i\}_{i=1}^\infty$ $\textbf{there is}$ $\textit{parameter}$ $\Theta$ $\Theta$ $\textit{conditionally}$ $\Theta$ $\mu_\Theta$ $\bar{X}_n$ $X_i$ ini Parameter memainkan peran konstruksi anak perusahaan yang berguna, yang memungkinkan kita untuk mendapatkan probabilitas bersyarat yang hanya melibatkan yang dapat diamati melalui hubungan seperti $\Theta$

P {X_{n} = 1 ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = E [Θ ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}] .

$P\{X_n=1\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = \mathrm{E}\left[\Theta\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\right] \, .$

— Zen
sumber

Terima kasih atas jawaban mendalam ini! Poin Anda tentang kemerdekaan adalah hal yang sangat penting yang saya sadari untuk pertama kalinya.

— gui11aume

("Bermanfaat" lebih baik :))

— Neil G

Saya mengalami kesulitan memahami pernyataan "ada parameter sehingga (diberikan ) adalah iid." Dari teorema representasi, tampaknya yang dapat kita peroleh hanyalah bahwa . Artinya, nilai yang diharapkan dari kepadatan sebenarnya adalah sama dengan nilai yang diharapkan dari kepadatan iid bernoulli dengan parameter . Bisakah Anda mengklarifikasi kepada saya bagaimana kami dapat menjatuhkan nilai yang diharapkan sehingga kami membuat klaim tentang kepadatan sebenarnya itu sendiri?

Θ

$\Theta$

Θ

$\Theta$

X_{i}

$X_i$

E [θ^{s} (1 - θ)^{s}] = E [P (X_{i} = x_{i} \forall i | θ)]

$E [\theta^s (1-\theta)^s] = E[P(X_i = x_i \, \forall \, i | \theta) ]$

θ

$\theta$

— user795305

Integrand adalah . Karena faktor sebagai , 's bersyarat iid diberikan .

Pr {X_{1} = x_{1}, \dots, X_{n} = x_{n} ∣ Θ = θ}

$\Pr\{X_1=x_1,\dots,X_n=x_n\mid\Theta=\theta\}$

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

X_{i}

$X_i$

Θ = θ

$\Theta=\theta$

— Zen

@ Zen Terima kasih! Saya mengerti kalimat pertama, namun bagian "karena faktornya sebagai "masih belum jelas bagi saya. Bagaimana Anda tahu itu faktornya? Sepertinya Anda menjatuhkan nilai yang diharapkan dari identitas yang saya tulis di komentar saya sebelumnya, tapi saya tidak yakin bagaimana itu dibenarkan.

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

— user795305

Secara matematis semuanya benar dalam jawaban Zen. Namun saya tidak setuju pada beberapa poin. Perlu diketahui bahwa saya tidak mengklaim / percaya bahwa sudut pandang saya adalah yang baik; sebaliknya saya merasa poin-poin ini belum sepenuhnya jelas bagi saya. Ini adalah pertanyaan filosofis yang ingin saya diskusikan (dan latihan bahasa Inggris yang baik untuk saya), dan saya juga tertarik dengan saran apa pun.

Tentang contoh dengan "Kepala", komentar Zen: "hipotesis independensi akan menyiratkan bahwa tidak mungkin untuk mempelajari apa pun tentang koin dengan mengamati hasil lemparannya." Ini tidak benar dari perspektif frequentist: belajar tentang koin berarti belajar tentang , yang dimungkinkan dengan memperkirakan (titik-estimasi atau interval kepercayaan) dari hasil sebelumnya . Jika frequentist mengamati "Heads" maka dia menyimpulkan bahwa kemungkinan mendekati , dan demikian pula konsekuensinya. $999$ $X_i$ $\theta$ $\theta$ $999$ $999$ $\theta$ $1$ $\Pr(X_n=1)$
Ngomong-ngomong, dalam contoh lemparan koin ini, apa yang dimaksud dengan acak ? Membayangkan masing-masing dari dua orang memainkan permainan lempar koin dalam jumlah tak terbatas dengan koin yang sama, mengapa mereka menemukan ? Saya ada dalam pikiran bahwa karakteristik melempar koin adalah fixed yang merupakan nilai umum dari untuk setiap gamer ("hampir semua gamer" karena alasan matematis teknis). Contoh yang lebih konkret yang tidak ada interpretasi acak adalah kasus pengambilan sampel acak dengan penggantian dalam populasi terbatas dan . $\Theta$ $\theta = \bar X_\infty$ $\theta$ $\bar X_\infty$ $\Theta$ $0$ $1$
Tentang buku Schervish dan pertanyaan yang diajukan oleh OP Saya pikir (dengan cepat) Schervish berarti bahwa pertukaran adalah asumsi "keren" dan kemudian teorema deFinetti adalah "keren" karena dikatakan bahwa setiap model yang dapat ditukar memiliki representasi parametrik. Tentu saja saya setuju sepenuhnya. Namun jika saya mengasumsikan model yang dapat ditukar seperti dan maka saya akan tertarik untuk melakukan inferensi tentang dan , bukan tentang realisasi . Jika saya hanya tertarik pada realisasi maka saya tidak melihat minat untuk mengasumsikan pertukaran. $(X_i\mid\Theta=\theta)\sim_\text{iid} \text{Bernoulli}(\theta)$ $\Theta \sim \text{Beta}(a,b)$ $a$ $b$ $\Theta$ $\Theta$

Itu terlambat...

— Stéphane Laurent
sumber

Hai Stéphane! Terima kasih atas komentar Anda atas jawaban saya. Tentang poin pertama Anda bahwa , dalam jawaban saya semuanya dinyatakan dalam konteks Bayesian. Tidak ada upaya nyata untuk membangun kontras dengan paradigma inferensi lainnya. Singkatnya, saya sudah mencoba mengungkapkan apa arti teorema De Finetti bagi saya, sebagai seorang Bayesian.

"this is not true from the frequentist perspective"

$\textbf{"this is not true from the frequentist perspective"}$

— Zen

Tentang peluru kedua Anda: random adalah (as) batas , seperti yang dinyatakan dalam LLN De Finetti. Jadi, ketika beberapa Bayesian mengatakan bahwa saya untuk adalah , ia berarti bahwa distribusi ini mewakili ketidakpastiannya tentang batas ini, sebelum memiliki akses ke data. Bayesian yang berbeda mungkin memiliki prior yang berbeda, tetapi, dengan kondisi keteraturan yang sesuai, mereka akan memiliki perjanjian tentang (posterior serupa), karena mereka mendapatkan lebih banyak dan lebih banyak informasi tentang hasil lemparan.

Θ

$\Theta$

{\bar{X}}_{n}

$\bar{X}_n$

Θ

$\Theta$

μ_{Θ}

$\mu_\Theta$

a posteriori

$\textit{a posteriori}$

Θ

$\Theta$

— Zen

tetap tetapi tidak dikenal bukanlah konsep Bayesian.

θ

$\theta$

— Zen

Tentang peluru ketiga Anda, diberikan: 1) Schervish itu adalah ahli statistik Bayesian; 2) Jumlah waktu dan energi yang ia habiskan untuk mendiskusikan pertukaran dalam bukunya; Saya percaya bahwa baginya peran teorema De Finetti sangat dalam, jauh melampaui kesejukan. Tapi saya setuju bahwa itu sangat keren!

— Zen

Untuk memperjelas sudut pandang saya: Saya tidak percaya ada acak dalam model Bayesian "dasar" (non hierarkis). Ada yang tidak diketahui pasti , dan distribusi sebelumnya menggambarkan kepercayaan tentang hal itu. Peran variabel acak hanyalah perlakuan matematis dari inferensi Bayesian, tidak memiliki interpretasi apa pun dalam percobaan. Jika Anda benar-benar menganggap pengamatan yang dapat dipertukarkan tetapi tidak independen, seperti contoh peluru ketiga saya, maka Anda harus menempatkan hyperpriors pada dan .

θ

$\theta$

θ

$\theta$

Θ

$\Theta$

a

$a$

b

$b$

— Stéphane Laurent

Kalian mungkin tertarik pada makalah tentang hal ini (berlangganan jurnal diperlukan untuk akses - coba mengaksesnya dari universitas Anda):

O'Neill, B. (2011) Pertukaran, korelasi dan Efek Bayes. Tinjauan Statistik Internasional 77 (2), hlm. 241-250.

Makalah ini membahas teorema representasi sebagai dasar untuk kedua model IID Bayesian dan sering, dan juga menerapkannya pada contoh melempar koin. Ini harus menjernihkan diskusi tentang asumsi paradigma frequentist. Ini benar-benar menggunakan ekstensi yang lebih luas untuk teorema representasi melampaui model binomial, tetapi tetap harus bermanfaat.

— Statistik
sumber

Apakah mungkin ada versi kertas kerja yang Anda miliki? Saya tidak punya akses atm :-(

— IMA

@Stats Saya sudah membaca makalah itu setelah melihat jawaban Anda. Saya harus mengatakan, itu adalah makalah terbaik yang menggambarkan Bayesian dan Frequentist tentang masalah yang pernah saya lihat. Saya berharap saya akan membaca makalah ini lebih awal. (+1)

— KevinKim