Terikat pada dalam hal selain ketidaksetaraan Jensen?

Jika adalah fungsi cembung maka ketidaksetaraan Jensen menyatakan bahwa , dan saling mutatis ketika adalah cekung. Jelas dalam kasus terburuk Anda tidak bisa menggunakan batas atas dalam hal untuk cembung , tetapi apakah ada batas yang mengarah ke arah ini jika adalah cembung tetapi "tidak terlalu cembung"? Apakah ada beberapa batasan standar yang memberikan kondisi pada fungsi cembung (dan mungkin distribusi juga, jika perlu) yang akan memungkinkan Anda untuk menyimpulkan bahwa , di mana $f$ $f(\textbf{E}[x]) \le \textbf{E}[f(x)]$ $f$ $\textbf{E}[f(x)]$ $f(\textbf{E}[x])$ $f$ $f$ $f$ $\textbf{E}[f(x)] \le \varphi(f)f(\textbf{E}[x])$ $\varphi(f)$ Apakah beberapa fungsi dari kelengkungan / tingkat konveksitas ? Sesuatu yang mirip dengan kondisi Lipschitz, mungkin? $f$

randomness pr.probability randomized-algorithms

— Ian
sumber

Voting untuk ditutup sebagai di luar topik. math.stackexchange.com mungkin?

— Aryabhata

Saya pikir pertanyaan ini harus tetap terbuka; ini adalah semacam ketidaksetaraan yang menurut banyak ahli teori kerja bermanfaat secara berkala.

— Aaron Roth

Saya tahu bahwa ini lebih dekat dengan matematika murni daripada sebagian besar pertanyaan yang diposting sejauh ini, tapi saya berpendapat bahwa ini adalah topik karena hal semacam ini sering muncul dalam analisis algoritma acak (yang merupakan aplikasi yang saya miliki di pikiran). Saya pikir matematika yang banyak digunakan dalam ilmu komputer harus dianggap permainan yang adil untuk pertanyaan.

— Ian

pilih untuk tetap terbuka. pasti pada topik

— Suresh Venkat

Saya juga memilih untuk tetap terbuka.

— Jeffε

EDIT: versi asli melewatkan nilai absolut. Maaf!!

Hai Ian. Saya akan secara singkat menguraikan dua ketidaksetaraan sampel, satu menggunakan ikatan Lipschitz, yang lain menggunakan ikatan pada turunan kedua, dan kemudian membahas beberapa kesulitan dalam masalah ini. Meskipun saya berlebihan, karena pendekatan yang menggunakan satu turunan menjelaskan apa yang terjadi dengan lebih banyak turunan (melalui Taylor), ternyata versi turunan kedua cukup bagus.

Pertama, dengan ikatan Lipschitz: cukup kerjakan kembali ketimpangan Jensen standar. Trik yang sama berlaku: hitung ekspansi Taylor pada nilai yang diharapkan.

Secara khusus, Misalkan memiliki ukuran yang sesuai , dan atur . Jika memiliki konstanta Lipschitz , maka dengan teorema Taylor $X$ $\mu$ $m := \textrm E(x)$ $f$ $L$

f (x) = f (m) + f^{'} (z) (x - m) \leq f (m) + L | x - m |,

$f(x) = f(m) + f'(z)(x-m) \leq f(m) + L|x-m|,$

di mana (perhatikan bahwa dan adalah mungkin). Menggunakan ini dan bekerja kembali bukti Jensen (saya paranoid dan memeriksa bahwa yang standar memang ada di wikipedia), $z \in [m, x]$ $x\leq m$ $x> m$

\begin{aligned} E (f (X)) & = \int f (x) d μ (x) \leq f (m) \int d μ (x) + L \int | x - m | d μ (x) \\ = f (E (X)) + L E (| X - E (X) |) . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & = \int f(x) \, d\mu(x) \leq f(m) \int d\mu(x) + L\int |x-m| \, d\mu(x) \\[6pt] & = f(\operatorname{E}(X)) + L \operatorname{E} (|X-\operatorname{E}(X)|). \end{align}$

Sekarang, misalkan . Pada kasus ini, $|f''(x)| \leq \lambda$

\begin{aligned} f (x) & = f (m) + f^{'} (m) (x - m) + f^{″} (z) \frac{(x - m)^{2}}{2} \\ \leq f (m) + f^{'} (m) (x - m) + λ \frac{(x - m)^{2}}{2}, \end{aligned}

$\begin{align} f(x) & = f(m) + f'(m)(x-m) + f''(z) \frac{(x-m)^2} 2 \\[6pt] & \leq f(m) + f'(m)(x-m) + \lambda \frac{(x-m)^2} 2, \end{align}$

dan sebagainya

\begin{aligned} E (f (X)) & \leq f (m) + f^{'} (m) (E (X) - m) + \frac{λ E ((X - m)^{2})}{2} \\ = f (E (X)) + \frac{λ Var (X)}{2} . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & \leq f(m) + f'(m)(\operatorname{E}(X) - m) + \frac {\lambda \operatorname{E}((X-m)^2)}{2} \\[6pt] & = f(\operatorname{E}(X)) + \frac {\lambda \operatorname{Var}(X)}2. \end{align}$

Saya ingin menyebutkan secara singkat beberapa hal. Maaf jika sudah jelas.

Pertama, Anda tidak bisa hanya mengatakan "wlog " dengan menggeser distribusi, karena Anda mengubah hubungan antara dan . $\operatorname{E}(X) = 0$ $f$ $\mu$

Berikutnya adalah bahwa terikat harus bergantung pada distribusi dalam beberapa cara. Untuk melihat ini, bayangkan dan . Apa pun nilai , Anda masih mendapatkan . Di sisi lain, . Dengan demikian, dengan mengubah , Anda dapat membuat jarak antara dua kuantitas secara sewenang-wenang! Secara intuitif, lebih banyak massa didorong menjauh dari rata-rata, dan dengan demikian, untuk fungsi cembung apa pun, akan meningkat. $X \sim \textrm{Gaussian}(0, \sigma^2)$ $f(x) = x^2$ $\sigma$ $f(\operatorname{E}(X)) = f(0) = 0$ $\operatorname{E}(f(X)) = \operatorname{E}(X^2) = \sigma^2$ $\sigma$ $\operatorname{E} (f(X))$

Terakhir, saya tidak melihat cara mendapatkan ikatan multiplikasi seperti yang Anda sarankan. Semua yang saya gunakan dalam posting ini adalah standar: Teorema dan batas turunan Taylor adalah roti & mentega dalam batas statistik, dan mereka secara otomatis memberikan aditif, bukan kesalahan multiplikasi.

Saya akan memikirkannya, dan memposting sesuatu. Intuisi yang kabur adalah akan membutuhkan kondisi yang sangat berat pada fungsi dan distribusi, dan bahwa batas aditif sebenarnya di jantungnya.

— matus
sumber

Setiap kali saya mengedit, jawabannya akan terbentur. Jadi saya akan tunjukkan: ikatan turunan kedua ketat untuk contoh yang saya berikan.

— matus

Saya pikir Anda benar dalam batas aditif yang terbaik tanpa kondisi yang lebih kuat pada fungsi.

— Ian

Dear Ian, saya memikirkan masalah ini sedikit lebih banyak, tetapi kesulitan utama dalam pikiran saya oleh contoh yang saya berikan, di mana , tetapi . Anda dapat membatasi keluarga fungsi (terikat, turunan terbatas, integrable) dan distribusi (lancar, terbatas, momemts terbatas), dan Anda masih memiliki contoh-contoh ini. Cukuplah untuk memiliki fungsi simetris, nonnegatif sama dengan nol pada rata-rata distribusi. Yang mengatakan, semuanya tergantung pada kendala dalam masalah Anda. Dalam kasus umum, saya pikir sifat aditif itu fundamental.

f (E (X)) = 0

$f(\textrm E(X))= 0$

E (f (X)) > 0

$\textrm E (f(X)) > 0$

— matus

@Ian: Bukti ketidaksetaraan Chernoff dan Azuma-Hoeffding menggunakan argumen yang mengingatkan ini, jadi Anda mungkin ingin membaca itu untuk inspirasi. Lihat misalnya buku Mitzenmacher dan Upfal tentang pengacakan dalam komputasi.

— Warren Schudy

Untuk wawasan, pertimbangkan distribusi yang terkonsentrasi pada dua nilai; katakanlah, dengan probabilitas yang sama dengan 1/2 bahwa itu sama dengan 1 atau 3, di mana . Ambil dan . Pertimbangkan fungsi yang dan . Dengan membuat cukup kecil dan menghubungkan terus menerus di antara ketiga titik ini, kita dapat membuat lengkungan sekecil yang diinginkan. Kemudian $\textbf{E}[x] = 2$ $N >> 0$ $\epsilon > 0$ $f$ $f(1) = f(3)= N\epsilon$ $f(\textbf{E}[x]) = f(2) = \epsilon$ $\epsilon$ $f$ $f$

$\textbf{E}[f(x)] = N\epsilon$ , belum

$N = N\epsilon / \epsilon = \textbf{E}[f(x)] / f(\textbf{E}[x]) \le \varphi(f)$ .

Ini menunjukkan harus besar secara sewenang-wenang. $\varphi(f)$

— whuber
sumber