Interval kepercayaan untuk polinomial

Saya memiliki variabel acak $Z$ yang mengambil nilai dalam bilangan bulat tidak negatif $\{ 0,1,2,\dots \}$, panggil probabilitas untuk setiap hasil $z_k:=P[Z=k]$. Saya dapat mencicipi dari$Z$Distribusi secara mandiri dan murah; Saat ini saya memiliki ukuran sampel$2^{28}$. Sepertinya$z_0\approx 0.24, z_1\approx 0.18,\dots$, dengan pembusukan kasar secara eksponensial.

Saya memiliki urutan bentuk kuadratik dengan koefisien positif:

• $Q_0(z_0) = \frac14 z_0^2$
• $Q_1(z_0,z_1) = \frac 12 {z_0 z_1}$
• ...
• $Q_7(z_0,z_1,\dots,z_7) = \frac{1}{8} \left(2 z_0 z_1+3 z_2 z_1+4 z_4 z_1+4 z_6 z_1+3 z_0 z_3 + \right.$ $\qquad\qquad\qquad\qquad\qquad\qquad \left. +4 z_2 z_3+4 z_3 z_4+4 z_0 z_5+4 z_2 z_5+4 z_0 z_7\right)$
• ...

Apa yang ingin saya miliki adalah interval kepercayaan untuk $Q_i$Itu kurang dari $10^{-4}$ lebar, tapi aku akan mengambil apa pun yang bisa aku dapatkan.

Saya memiliki batasan ketat pada $z_i$, dan karena koefisien dari $Q$Semua positif, mudah untuk mengubahnya menjadi batas yang ketat untuk $Q$ini Tapi saya tidak tahu bagaimana melakukan ini dengan benar dengan interval kepercayaan.

---

Tentang apa ini? Saya menemukan fenomena aneh dalam teori bilangan, dan saya tahu bagaimana membuktikan bahwa itu benar-benar terjadi, tetapi sebenarnya melakukan hal itu akan memerlukan upaya pemrograman di pihak saya dan banyak waktu di cluster lokal kami. Sebelum saya menginvestasikan waktu itu dan menyumbat mesin kami, saya ingin lebih yakin daripada saya bahwa fenomena itu nyata.

Saya ingin mengukur kewajaran klaim saya itu $Q_7<Q_6$ dan $Q_7<Q_8$. Perkiraan saya menunjukkan itu$Q_6-Q_7$ ada di sekitar $5\cdot 10^{-4}$, itulah sebabnya saya ingin CI pada resolusi itu.

Perbaiki bilangan bulat besar $n$, dan biarkan $A$ menjadi bagian yang dipilih secara seragam $\{1,2,\dots,n\}$ (Yaitu, setiap subset tertentu memiliki probabilitas $2^{-n}$dipilih). Membiarkan$Q_k(n)$ menjadi probabilitas yang tepat $k$ dari angka-angka dari $\{2,3,\dots,2n\}$ tidak dapat ditulis sebagai jumlah dari dua elemen $A$; membiarkan$Q_k = \lim_n Q_k(n)$. Agak sulit untuk dibuktikan, tetapi batasan itu ada dan $\sum_{k} Q_k =1$. Sekarang tidak mengherankan$Q_0$ kecil, dan $k$ meningkat $Q_k$meningkat, memiliki puncak dan kemudian meluruh secara eksponensial. Bagian yang aneh adalah bahwa ada bias terhadap 7. Artinya, secara eksperimental$Q_7< Q_6$ dan $Q_7<Q_8$. Artinya, apa yang tidak mengejutkan sebenarnya tidak benar: distribusinya bimodal.

Saya dapat mengekspresikannya $Q_i$(menggunakan beberapa teori) seperti di atas tanpa batas dalam hal distribusi lain ini, didefinisikan oleh $z_i$ini Itu berguna karena saya punya cara untuk mengikatnya$z_i$Menggunakan, seperti yang saya sebutkan di atas, beberapa perhitungan besar. Juga, saya memiliki kumpulan data yang sangat besar untuk$Z$ variabel.

Dalam jawaban saya, saya menyediakan banyak tautan ke materi latar belakang untuk menghemat ruang di sini. Saya akan menulis jawaban saya dengan mengambil info di tautan seperti yang diberikan.

Saya pikir pendekatan Bayesian cocok untuk masalah ini, terutama karena Anda hanya berusaha meyakinkan diri sendiri. Agak berbelit-belit untuk menggunakan interval kepercayaan untuk menjawab pertanyaan yang benar-benar Anda pedulikan, sungguh, seberapa masuk akal$Q_{7}<Q_{6}$ dan $Q_{7}<Q_{8}$ diberikan sampel dari $z_{i}$distribusi? Pendekatan Bayesian memungkinkan Anda untuk menjawab pertanyaan ini secara langsung.

Fungsi kemungkinan

Membiarkan $f_k$ menjadi frekuensi yang diamati dari hasil integer $k$ dalam sampel Anda dan biarkan $N$menjadi ukuran sampel. Fungsi kemungkinan sebanding dengan distribusi multinomial . Itu memiliki bentuk

$L(z_{0},...z_{8};f_{0},...f_{8})=\prod_{i=0}^{8}{z_{i}}^{Nf_{i}}$.

Distribusi sebelumnya

The distribusi Dirichlet adalah pilihan alami untuk distribusi sebelum karena itu adalah sebelum konjugasi untuk kemungkinan multinomial. Itu memiliki bentuk

$p(z_{0},...z_{8};\alpha_{0},...,\alpha_{8})\propto\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}-1}$

Sebelumnya ini memiliki sembilan hiperparameter (the$\alpha_i$nilai), dan mereka agak menyebalkan untuk dihadapi. Dalam konteks "sampel besar" ini, pilihan apa pun yang masuk akal dari nilai-nilai hiperparameter akan memiliki pengaruh yang dapat diabaikan pada hasilnya, tetapi tetap saja, saya pikir layak untuk mencurahkan sedikit usaha untuk memilih nilai-nilai yang masuk akal.

Inilah cara saya merekomendasikan pengaturan hyperparameters. Pertama, perhatikan bahwa di bawah distribusi ini$\mathrm{E}(z_{i})=\frac{\alpha_{i}}{\sum_{i=0}^{8}\alpha_{i}}$. Selanjutnya, perhatikan bahwa distribusi entropi maksimum paling sederhana atas naturals adalah distribusi geometris . Jadi atur

$\alpha_{i+1}=r\alpha_{i}=r^{i}\alpha_{0},\,0<r<1,$

$\alpha_{0}=A\left(\frac{1-r}{1-r^{9}}\right).$

Kemudian $\mathrm{E}(z_{i})=r^{i}\left(\frac{1-r}{1-r^{9}}\right)$, sehingga distribusi $z_{i}$nilai-nilai dipusatkan pada distribusi geometris (terpotong). Selanjutnya,$\mathrm{Var}\left(z_{i}\right)\propto\frac{1}{(A+1)}$, jadi nilai $A$ mengontrol dispersi sekitar ekspektasi ini tetapi tidak berpengaruh pada ekspektasi itu sendiri.

Spesifikasi ini mengurangi jumlah hiperparameter dari sembilan $\alpha_{i}$ nilai untuk adil $r$ dan $A$. Saya akan menunda diskusi tentang nilai spesifik$r$ dan $A$ untuk sekarang.

Probabilitas posterior dari proposisi bunga

Distribusi posterior dari $z_{i}$ nilai adalah distribusi Dirichlet berikut:

$p(z_{0},...z_{8}|f_{0},...,f_{8})\propto\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}+Nf_{i}-1}.$

Membiarkan $\mathbb{Y}=\left\{ z_{0},...z_{8}|Q_7<Q_6 \text{ and } Q_7<Q_8\right\}$. Probabilitas posterior yang Anda minati adalah

$\Pr(Q_7<Q_6 \text{ and } Q_7<Q_8|f_0,...,f_8) \propto \int_{\mathbb{Y}}\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}+Nf_i-1}dz_{i}.$

Integral ini tidak dapat dilakukan, tetapi Anda dapat menghitung probabilitas bunga secara numerik menggunakan algoritma Monte Carlo berikut.

Untuk $j$ dari $1$ untuk $J$,

1. Cicipi satu set $z_i$ nilai dari distribusi posterior mereka.

2. Gunakan nilai sampel untuk menghitung $y_j=I(Q_{7}<Q_{6})I(Q_{7}<Q_{8})$ dimana $I(\cdot)$ adalah fungsi indikator.

Kemudian $\Pr(Q_7<Q_6 \text{ and }Q_7<Q_8|f_{0},...,f_{8})\approx \frac{\sum_{j=0}^Jy_j}{J}$.

Keakuratan perkiraan Monte Carlo sama dengan $\sqrt{J}$: $J=10^4$ akan memberi Anda setidaknya dua tempat desimal akurasi 19 kali dari 20, $J=10^6$ akan memberi Anda setidaknya tiga angka desimal akurasi 19 kali dari 20, dll.

Dan jika probabilitas minat posterior Anda tidak mendekati 0 atau 1, cukup sampel lebih banyak data, bilas, dan ulangi.

Sebelum hiperparameter, bagian dua

Eksponen dari $z_i$ dalam ekspresi untuk kepadatan posterior

$\alpha_i + Nf_i - 1 = Ar^{i}\left(\frac{1-r}{1-r^{9}}\right) +Nf_i - 1 = A\mathrm{E}(z_i) +Nf_i - 1$

Dapat dilihat bahwa hyperparameter $A$ memainkan peran yang sama dalam distribusi sebelumnya seperti $N$bermain dalam kemungkinan - itu semacam "ukuran sampel sebelumnya". Untuk memastikan bahwa prior memiliki pengaruh yang dapat diabaikan pada kesimpulan, cukup pilih nilai$A$ seperti yang $A\ll N$; sebagai contoh,$A = 1$.

Untuk mengatur $r$, perhatikan bahwa Anda dapat menghitung probabilitas proposisi sebelumnya$Q_7<Q_6 \text{ and } Q_7<Q_8$menggunakan algoritma Monte Carlo yang sama seperti yang dijelaskan di atas tetapi dengan distribusi sebelumnya menggantikan distribusi posterior pada langkah 1 dari loop. Cobalah untuk menemukan nilai$r$ yang memberikan probabilitas sebelumnya 0,5 (atau lebih rendah, jika Anda merasa itu lebih masuk akal).

Saya kira z_k bukan probabilitas tetapi frekuensi sampel. Ini karena, jika tidak, Q_i (z_0, ..., z_i) bukan variabel acak. Dalam hal itu, menghitung varian Q_i adalah aljabar langsung. Tentukan, pertama, indikator acara Z_i yaitu 1 jika Z == i, 0 sebaliknya. Ini adalah variabel acak Bernoulli dengan probabilitas p_i. Anda dapat menghitung momen pertama dan kedua dari salah satu variabel ini dan mereka harus memberi Anda semua istilah yang diperlukan untuk menghitung varian Q_i.

Kevin, harap berhati-hati karena saya harus sedikit mengubah notasi Anda: Anda $z_i$Bukan milikku $z_i$ini

Saya pikir solusi Bayesian berikut patut dicoba. Masak parameter acak$\Lambda>0$ dan biarkan $Z_1,\dots,Z_n$ bersyarat iid, diberikan $\Lambda=\lambda$, dengan $Z_i\mid\Lambda = \lambda \sim \textrm{Poisson}(\lambda)$. Gunakan notasi$Z=(Z_1,\dots,Z_n)$. Anda sudah memiliki sampel$z=(z_1,\dots,z_n)$ dari $Z_i$dengan $n=2^{28}$. Tentukan variabel acak

$$\Theta_i = P\{Z_i=k\mid \Lambda\} = \frac{e^{-\Lambda}\Lambda^k }{k!} \, ,$$ untuk $i\geq 0$(jika ini tidak jelas, lihatlah ). Sekarang, dalam formulasi ini bentuk kuadratik Anda$Q_i=Q_i(\Theta_0,\dots,\Theta_i) = Q_i(\Lambda)$ adalah fungsi dari $\Lambda$. Sehingga$Q_i$Itu acak dan Anda ingin menentukan probabilitas posterior $$P\{Q_7<Q_6 \,\,\,\textrm{and}\,\,\, Q_7<Q_8\mid Z=z\} \, . \qquad (*)$$ Dengan prior $\Lambda\sim\textrm{Gamma}(a,b)$, menggunakan Bayes Theorem yang kita miliki $$\Lambda\mid Z=z \sim \, \textrm{Gamma}\left( a + \sum_{i=1}^n z_i, b + n\right) \, .$$ Anda menghitung $(*)$ menghasilkan iid $\lambda_i$Dari distribusi sebelumnya (gunakan R !) dan komputasi $$\frac{1}{N} \sum_{i=1}^N I_{(-\infty,Q_6(\lambda_i))\cap(Q_8(\lambda_i),\infty)}(Q_7(\lambda_i)) \, ,$$ yang menyatu, oleh hukum yang kuat dari sejumlah besar, untuk $(*)$hampir pasti. Untuk mendapatkan "ya" untuk pertanyaan awal Anda, probabilitas posterior ini harus "cukup besar". Dengan sampel yang sangat besar ($n=2^{28}$), Saya pikir mungkin untuk bermain dengan nilai - nilai $a$ dan $b$ untuk membuat pilihan Anda sebelumnya tidak banyak "informatif".