Ketidaksamaan tipe Chernoff untuk variabel acak dengan 3 hasil

9

Misalkan kita memiliki variabel acak yang mengambil nilai non-numerik a, b, c dan ingin menghitung bagaimana distribusi empiris dari sampel variabel ini menyimpang dari distribusi yang sebenarnya. Ketidaksetaraan berikut (dari Cover & Thomas ) berlaku dalam kasus ini. $n$

Teorema 12.4.1 (Teorema Sanov): Misalkan menjadi iid . Biarkan menjadi seperangkat distribusi probabilitas. Kemudian $X_1, X_2, \ldots, X_n$ $\sim Q(x)$
$E \subseteq \mathscr{P}$
$Q^{n} (E) = Q^{n} (E \cap P_{n}) \leq (n + 1)^{| X |} 2^{- n D (P^{*} | | Q)},$ $Q^n(E) = Q^n(E \cap \mathscr{P}_n) \leq (n+1)^{|\mathcal{X}|}2^{-nD(P^*||Q)},$ $P^{*} = \arg min_{P \in E} D (P | | Q),$ $P^* = \arg\min_{P \in E} D(P||Q),$ $E$ $Q$

Ketidaksetaraan ini cukup longgar untuk kecil . Untuk hasil biner, , dan batas Chernoff-Hoeffding jauh lebih ketat. $n$ $|\mathcal{X}|=2$

Apakah ada batasan ketat yang sama untuk ? $|\mathcal{X}|=3$

pr.probability chernoff-bound

— Yaroslav Bulatov
sumber

Saya yakin Anda dapat mengubah | X | ke | X | -1, karena "tipe terakhir", dalam metode tipe og, diberikan setelah Anda mengetahui sisanya.

— Thomas Ahle

6

Anda bisa mendapatkan batasan yang cukup baik dengan mempertimbangkan variabel acak yaitu 1 jika dan nol sebaliknya (untuk mulai dari percobaan dan mulai dari kategori). Untuk setiap tetap , bersifat independen dan oleh karena itu dapat dianalisis menggunakan Chernoff bounds. Kemudian lakukan ikatan yang terikat pada . $Y_{ij}$ $X_i = j$ $1 \le i \le n$ $1 \le j \le 3$ $j$ $Y_{ij}$ $\sum_i Y_{ij}$ $j$

Jika hal di atas tidak cukup saya sarankan Anda melihat model bola dan sampah misalnya dalam buku teks Upfal dan Mitzenmacher. Model itu sama dengan milik Anda, kecuali bahwa beberapa tempat sampah Anda lebih mungkin memiliki bola mendarat di dalamnya, bukan? Ada beberapa teknik yang lebih canggih yang melibatkan perkiraan Poisson dalam model itu yang kemungkinan akan diperluas ke pengaturan Anda dengan probabilitas bin tidak seragam.

— Warren Schudy
sumber

3

Tidak ada batasan tentang Chernoff Hoeffding yang spesifik untuk variabel boolean. Jika adalah variabel acak bernilai nyata dengan Anda dapat menerapkan Chernoff terikat. Referensi yang baik adalah "Konsentrasi Ukuran untuk Analisis Algoritma Acak" ( http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.120.2561&rep=rep1&type=pdf ) $X_1,\ldots,X_n$ $0 \leq X_i \leq 1$

— Aaron Roth
sumber

Saya tertarik pada variabel kategori daripada nilai nyata, menambahkan klarifikasi

— Yaroslav Bulatov