Memahami bukti lemma yang digunakan dalam ketidaksetaraan Hoeffding

Saya sedang mempelajari catatan kuliah Larry Wasserman tentang Statistik yang menggunakan Casella dan Berger sebagai teks utamanya. Saya sedang mengerjakan catatan kuliahnya set 2 dan terjebak dalam derivasi lemma yang digunakan dalam ketidaksetaraan Hoeffding (hal.2-3). Saya mereproduksi bukti dalam catatan di bawah ini dan setelah bukti saya akan menunjukkan di mana saya terjebak.

Kata pengantar singkat

Misalkan dan . Kemudian . $\mathbb{E}(X) = 0$ $a \le X \le b$ $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

Bukti

Karena , kita dapat menulis sebagai kombinasi cembung dari dan , yaitu mana . Dengan cembung dari fungsi kita miliki $a \le X \le b$ $X$ $a$ $b$ $X = \alpha b + (1 - \alpha) a$ $\alpha = \frac{X-a}{b-a}$ $y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

Ambil harapan dari kedua belah pihak dan gunakan fakta untuk mendapatkan $\mathbb{E}(X) = 0$

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

di mana , dan . Perhatikan bahwa . Juga untuk semua . $u = t(b-a)$ $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ $\gamma = -a /(b-a)$ $g(0) = g^{'}(0) = 0$ $g^{''}(u) \le 1/4$ $u > 0$

Dengan teorema Taylor, ada $\varepsilon \in (0, u)$ sedemikian sehingga $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

Karenanya $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$ .

Saya bisa mengikuti buktinya sampai

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ tetapi saya tidak dapat menemukan cara menurunkan . $u, g(u), \gamma$

probability probability-inequalities

— Anand
sumber

Sangat menarik bahwa nilai maksimum dari adalah dan dengan demikian hasilnya secara efektif yang tampak terlalu akrab untuk muncul karena kebetulan belaka. Saya menduga mungkin ada cara lain, mungkin lebih mudah, untuk memperoleh hasilnya melalui argumen probabilistik.

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

— Dilip Sarwate

@DilipSarwate Pemahaman saya adalah bahwa varians maksimum terjadi untuk variabel acak seragam . dari adalah . Bisakah Anda jelaskan bagaimana Anda mendapat ?

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Anand

Dengan memusatkan massa pada titik akhir ...

— Elvis

@DilipSarwate Saya menambahkan beberapa komentar di buktinya, yang dapat menjelaskan sedikit liitle mengapa kasus terburuk adalah varians maks.

— Elvis

@DilipSarwate - Lihat lemma 1 dan latihan 1 di sini: terrytao.wordpress.com/2010/01/03/… . Tampaknya ada derivasi sederhana mengandalkan ketidaksetaraan Jensen dan ekspansi taylor. Namun rincian ini tidak jelas bagi saya. Mungkin seseorang bisa memahaminya. (derivasi (9) hingga (10) dan latihan 1)

— Leo

Saya tidak yakin saya memahami pertanyaan Anda dengan benar. Saya akan mencoba menjawab: coba tulis sebagai fungsi : this adalah alami karena Anda ingin terikat dalam .

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

Dengan dibantu oleh pengalaman, Anda akan tahu bahwa lebih baik memilih untuk menuliskannya dalam bentuk . Kemudian mengarah ke dengan . $e^{g(u)}$

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

Apakah itu jenis hal yang Anda minta?

Sunting: beberapa komentar tentang buktinya

Trik pertama layak untuk diperhatikan dengan cermat: jika adalah fungsi cembung, dan adalah variabel acak terpusat, maka mana adalah variabel diskrit yang ditentukan oleh Sebagai konsekuensinya, Anda mendapatkan adalah variabel terpusat dengan dukungan dalam yang memiliki varian tertinggi: Perhatikan bahwa jika kami memperbaiki lebar dukungan $\phi$ $a\le X\le b$ $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ , ini kurang dari seperti Dilip katakan dalam komentar, ini karena ; batas diperoleh untuk . $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
Sekarang giliran masalah kita. Mengapa mungkin untuk mendapatkan ikatan hanya bergantung pada ? Secara intuitif, ini hanya masalah : jika Anda memiliki batas untuk kasus , maka batas umum dapat diperoleh dengan mengambil . Sekarang pikirkan kumpulan variabel terpusat dengan dukungan lebar 1: tidak ada begitu banyak kebebasan, jadi batas seperti harus ada. Pendekatan lain adalah dengan mengatakan bahwa dengan lemma di atas pada , maka lebih umum , yang hanya bergantung pada dan $u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ : jika Anda memperbaiki dan , dan biarkan bervariasi, hanya ada satu derajat kebebasan, dan , , . Kita mendapatkan Anda hanya perlu menemukan ikatan yang hanya melibatkan . $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
Sekarang kami yakin itu bisa dilakukan, itu pasti jauh lebih mudah! Anda tidak perlu berpikir untuk untuk memulai. Intinya adalah bahwa Anda harus menulis semuanya sebagai fungsi dari dan . Perhatikan pertama bahwa , , dan . Kemudian Sekarang kita berada dalam kasus khusus ... I pikir kamu bisa menyelesaikannya. $g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

Saya harap saya mengklarifikasi sedikit.

— Elvis
sumber

Itulah tepatnya yang saya cari. Terima kasih banyak.

— Anand

@ Dan saya tahu itu sulit untuk mengikuti saran, namun saya pikir Anda tidak boleh mulai dengan berfokus pada detail teknis tetapi cobalah untuk mendapatkan mengapa ikatan seperti itu bisa ada ... maka buktinya akan tampak lebih mudah. Saya mencoba menunjukkan kepada Anda mengapa di bagian kedua, ditambahkan pagi ini (Anda perlu tidur pada pertanyaan seperti ini - setidaknya saya perlu). Saya pikir itu mengerikan bagaimana intuisi semacam ini tidak muncul di sebagian besar buku pelajaran ... bahkan jika Anda mendapatkan bagian teknis, selama Anda tidak memiliki ide-ide semuanya terlihat ajaib. Terima kasih dan CrossV karena memberi saya kesempatan untuk memikirkan hal ini secara terperinci!

— Elvis

Wow! +1 untuk hasil edit. Terima kasih. Tapi bukankah menyenangkan jika bisa mendapatkan sesuatu seperti

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— Dilip Sarwate

@ Elvis Terima kasih atas sarannya dan telah meluangkan waktu untuk menuliskan bagian intuitifnya. Saya perlu meluangkan waktu untuk memahami hal ini!

— Anand

@ Elvis Mengambil tentang intuisi, saya ingin memperjelas pemahaman saya. Untuk mendapatkan batas yang lebih tajam, seseorang membutuhkan momen yang lebih tinggi. Markov menggunakan momen pertama, Chebyshev momen kedua dan Hoeffding menggunakan mgf. Apakah ini benar? Jika seseorang dapat memperluas dan memperjelas bagian ini, itu akan bagus.

— Anand