Memahami mengukur ketimpangan konsentrasi

Dalam semangat pertanyaan Memahami bukti lemma yang digunakan dalam ketidaksetaraan Hoeffding , saya mencoba memahami langkah-langkah yang mengarah pada ketidaksetaraan Hoeffding.

Apa yang memegang misteri paling bagi saya dalam buktinya adalah bagian di mana momen eksponensial dihitung untuk jumlah variabel iid, setelah mana ketimpangan Markov diterapkan.

Tujuan saya adalah untuk memahami: Mengapa teknik ini memberikan ketimpangan yang ketat, dan apakah itu yang paling ketat yang bisa kita capai? Penjelasan tipikal mengacu pada properti penghasil momen dari eksponen. Namun, saya menemukan ini terlalu kabur.

Sebuah posting di blog Tao, http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff , mungkin menyimpan beberapa jawaban.

Dengan mengingat tujuan ini, pertanyaan saya adalah tentang tiga poin dalam jabatan Tao yang saya hambatkan dan yang saya harap dapat memberikan wawasan yang pernah dijelaskan.

Tao mendapatkan ketidaksetaraan berikut menggunakan momen k-th Jika ini benar untuk setiap k, ia menyimpulkan batas eksponensial. Di sinilah aku tersesat.
$P (| S_{n} | \geq λ \sqrt{n}) \leq 2 (\frac{\sqrt{e k / 2}}{λ})^{k} . (7)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)$ $P (| S_{n} | \geq λ \sqrt{n}) \leq C \exp (- c λ^{2}) (8)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C \exp( - c \lambda^2 ) \ \ \ \ \ (8)$
Lemma Hoeffding disajikan: Lemma 1 (lemma Hoeffding) Misalkan menjadi variabel skalar yang mengambil nilai dalam interval . Kemudian untuk , Khususnya Bukti Lemma 1 dimulai dengan mengambil ekspektasi atas ekspansi taylor Mengapa ekspansi dapat dibatasi oleh istilah kuadratik dan bagaimana persamaan 10 mengikuti? ${X}$ ${[a,b]}$ ${t>0}$
$E e^{t X} \leq e^{t E X} (1 + O (t^{2} V a r (X) \exp (O (t (b - a)))) . (9)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} (1 + O( t^2 {\bf Var}(X) \exp( O( t (b-a) ) ) ). \ \ \ \ \ (9)$ $E e^{t X} \leq e^{t E X} \exp (O (t^{2} (b - a)^{2})) . (10)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} \exp( O( t^2 (b-a)^2 ) ). \ \ \ \ \ (10)$ $\displaystyle e^{tX} = 1 + tX + O( t^2 X^2 \exp( O(t) ) )$
Akhirnya, latihan diberikan:
Latihan 1 Tunjukkan bahwa faktor dalam (10) dapat diganti dengan , dan bahwa ini tajam. Ini akan memberikan bukti yang jauh lebih pendek daripada yang ada di Memahami bukti lemma yang digunakan dalam ketidaksetaraan Hoeffding , tapi saya tidak tahu bagaimana menyelesaikannya. ${O(t^2(b-a)^2)}$ ${t^2 (b-a)^2/8}$

Semua intuisi \ penjelasan lebih lanjut tentang bukti ketidaksetaraan atau alasan kita tidak dapat memperoleh ikatan yang lebih ketat pasti diterima.

probability probability-inequalities

— Leo
sumber

Sudahkah Anda membaca koran Hoeffding asli?

— Alecos Papadopoulos

@AlecosPapadopoulos saya sebenarnya belum. Saya mendapat kesan bahwa derivasi di sana terdiri dari langkah-langkah aljabar yang biasanya diajarkan dalam kursus matematika yang kurang penjelasan yang saya cari. Bisakah Anda mengatakan sebaliknya?

— Leo

Saya sarankan Anda membacanya. Url stabil di jstor adalah jstor.org/stable/2282952 . Apa yang "menyimpan misteri terbesar bagi Anda" adalah Teorema 1, 2 & 3 dari makalah, buktinya ada di bagian 4 dari makalah (bukan pada akhirnya), dan mereka terlihat cukup jelas bagi saya. Saya tidak tahu apakah Anda mencari beberapa intuisi "non-matematika" -jika ya, itu tidak selalu ada.

— Alecos Papadopoulos

Penggunaan momen eksponensial adalah langkah umum dalam proses pembuktian konsentrasi ketidaksetaraan ukuran. Pemahaman saya adalah sebagai berikut 1) Dengan menggunakan daripada , seseorang menangkap semua momen , bukan hanya momen pertama. Oleh karena itu, selalu menguntungkan untuk terikat , daripada terikat , karena ada informasi lebih lanjut dalam . Mengapa memiliki informasi lebih lanjut? Penjelasan informal diberikan oleh fakta bahwa Taylor mengembangkan . Seperti yang Anda lihat, semua kekuatan $\mathbb{E}e^X$ $\mathbb{E} X$ $X$ $\mathbb{E} e^X$ $\mathbb{E}X$ $\mathbb{E} e^X$ $\mathbb{E} e^X$ $e^{X}=1+X+\frac{X^2}{2}+\frac{X^3}{6}+\ldots$ $X$ terlibat. Oleh karena itu, ketika Anda mengambil , Anda pada dasarnya berakhir berlari semua momen dari . $\mathbb{E}X$ $X$

— gmravi2003
sumber

Menurut definisi, setiap fungsi analitik dalam lingkungan memiliki deret Taylor yang benar-benar konvergen di sana. Karenanya argumen Anda menyarankan bahwa eksponensial bisa saja diganti dengan . Apakah tidak ada yang spesial dari eksponensial?

f

$f$

0

$0$

e^{X}

$e^X$

f (X)

$f(X)$

— whuber

Saya tidak berpikir untuk mengganti , dengan fungsi analitik umum. Tapi sekarang setelah Anda menyebutkannya, saya kira fungsi "cocok" bisa sedemikian rupa sehingga , sehingga ketidaksetaraan Markov dapat diterapkan, dan yang ekspansi Taylor memiliki semua kekuatan , sehingga semua momen adalah ditangkap. Saya kira adalah pilihan paling sederhana dan paling alami.

f

$f$

f (x) > 0

$f(x) >0$

X

$X$

e^{X}

$e^X$

— gmravi2003

Saya belum melihat ke dalamnya, tapi saya curiga eksponensial menikmati beberapa sifat tertentu, termasuk yang Anda sebutkan, yang sangat penting: semua koefisien harus benar-benar positif dan berguna jika konvergen benar-benar bertemu di mana-mana. Tapi saya percaya ada alasan yang lebih dalam mengapa fungsi ini sangat penting, terkait dengan properti transformasi Fourier dan Laplace. Mungkin menarik untuk mengeksplorasi derivasi ketidaksetaraan ukuran untuk melihat sifat eksponensial apa yang benar-benar digunakan! (+1)

— whuber

@whuber itu pengamatan yang bagus. Saat ini saya menemukan penjelasan momen kurang. Apa yang meyakinkan saya adalah batas atas dan sifat pemisahan fungsi eksponen. Yaitu, . Jadi jika , semakin banyak variabel rata-rata yang kami rata-rata, semakin besar kekuatan yang bekerja pada istilah ini. Sehingga memberi batas eksponensial.

P {x 1 + x 2 > 0} = E {1 [x 1 + x 2 > 0]} \leq E {e x p (t * x 1)} E {e x p (t * x 2)}

$P\{x1+x2>0\}=E\{1[x1+x2>0]\} \leq E\{exp(t*x1)\}E\{exp(t*x2)\}$

E {e x p (t * x 1)} < 1

$E\{exp(t*x1)\}<1$

— Leo

Saya ingin membuat Anda tertarik dengan pertanyaan tentang ketatnya batasan ini: stats.stackexchange.com/questions/77019/…

— Leo