Prinsip Minimax Yao tentang Algoritma Monte Carlo

Prinsip Minimax Yao yang terkenal menyatakan hubungan antara kompleksitas distribusi dan kompleksitas acak. Biarkan menjadi masalah dengan himpunan berhingga input dan satu set terbatas algoritma deterministik untuk memecahkan . Juga biarkan menunjukkan distribusi input dan biarkan menunjukkan distribusi probabilitas pada . Kemudian prinsip menyatakan $P$ $\mathcal{X}$ $\mathcal{A}$ $P$ $\mathcal{D}$ $\mathcal{R}$ $\mathcal{A}$

min_{A \in A} E c o s t (A, D) \leq max_{x \in X} E c o s t (R, x) for all D and R .

$\min_{A\in\mathcal{A}}\quad\mathbb{E} cost(A,\mathcal{D}) \leq \max_{x\in\mathcal{X}}\quad\mathbb{E} cost(\mathcal{R},x) \quad\quad\text{for all $\mathcal{D}$ and $\mathcal{R}$}.$ Bukti ini secara langsung mengikuti dari teorema minimum von Neumann untuk game zero-sum.

Sebagian besar prinsip Yao berkaitan dengan algoritma Las Vegas saja, tetapi dapat digeneralisasikan ke algoritma Monte Carlo sebagai berikut.

\frac{1}{2} min_{A \in A} E c o s t_{2 ϵ} (A, D) \leq max_{x \in X} E c o s t_{ϵ} (R, x) for all D, R and ϵ \in [0, 1 / 2]

$\frac12 \min_{A\in\mathcal{A}}\quad\mathbb{E} cost_{2\epsilon}(A,\mathcal{D}) \leq \max_{x\in\mathcal{X}}\quad\mathbb{E} cost_{\epsilon}(\mathcal{R},x)\quad\quad\text{for all $\mathcal{D}$, $\mathcal{R}$ and $\epsilon\in [0,1/2]$}$ mana

c o s t_{ϵ} (\cdot, \cdot)

$cost_\epsilon(\cdot,\cdot)$ menunjukkan biaya algoritme Monte Carlo yang keliru probabilitas paling banyak

ϵ

$\epsilon$ .

Dalam makalah asli Yao , hubungan untuk algoritma Monte Carlo diberikan di Teorema 3 tanpa bukti. Ada petunjuk untuk membuktikannya?

randomized-algorithms

— Federico Magallanez
sumber

Ini hanya komentar panjang tentang jawaban Marcos, menggunakan notasinya. Saya tidak bisa mengikuti detail argumennya, dan yang di bawah ini cukup singkat dan mudah.

Dengan rata-rata,

\sum_{A} q (A) \sum_{x} d (x) ϵ (A, x) = \sum_{x} d (x) \sum_{A} q (A) ϵ (A, x) \leq λ .

$\sum_A{q(A)\sum_x{d(x)\epsilon(A, x)}} = \sum_x{d(x)\sum_A{q(A)\epsilon(A, x)}} \leq \lambda.$

Fakta di atas dan ketidaksetaraan Markov menyiratkan . $\sum_{A \in \beta(2\lambda)}{q(A)} \geq 1/2$

Jadi kita dapatkan:

\begin{aligned} max_{x} \sum_{A} q (A) r (A, x) & \geq \sum_{x} d (x) \sum_{A} q (A) r (A, x) \\ = \sum_{A} q (A) \sum_{x} d (x) r (A, x) \\ \geq \sum_{A \in β (2 λ)} q (A) \sum_{x} d (x) r (A, x) \\ \geq (\sum_{A \in β (2 λ)} q (A)) min_{A \in β (2 λ)} \sum_{x} d (x) r (A, x) \\ \geq \frac{1}{2} min_{A \in β (2 λ)} \sum_{x} d (x) r (A, x) \end{aligned}

$\begin{align*} \max_x \sum_A{q(A)r(A,x)} &\geq \sum_x{d(x)\sum_A{q(A)r(A, x)}}\\ &= \sum_A{q(A)\sum_x{d(x)r(A, x)}}\\ &\geq \sum_{A \in \beta(2\lambda)}{q(A)\sum_x{d(x)r(A, x)}}\\ &\geq \left(\sum_{A \in \beta(2\lambda)}{q(A)}\right) \min_{A \in \beta(2\lambda)}{\sum_x{d(x)r(A, x)}}\\ &\geq \frac{1}{2}\min_{A \in \beta(2\lambda)}{\sum_x{d(x)r(A, x)}} \end{align*}$

— Sasho Nikolov
sumber

Saya akan mencobanya. Saya akan menggunakan notasi asli Yao. Dengan cara ini akan lebih mudah untuk kontras dengan makalahnya dan definisinya.

Biarkan menjadi himpunan input hingga, dan biarkan menjadi himpunan terbatas algoritma deterministik yang mungkin gagal memberikan jawaban yang benar untuk beberapa input. Biarkan juga jika memberikan jawaban yang benar untuk , dan sebaliknya. Juga dilambangkan dengan jumlah kueri yang dibuat oleh pada input , atau setara, kedalaman pohon keputusan $\mathcal{I}$ $\mathcal{A}_0$ $\epsilon(A,x)=0$ $A$ $x$ $\epsilon(A,x)=1$ $r(A,x)$ $A$ $x$ $A$

Biaya Rata-Rata: Diberikan distribusi probabilitas pada , biaya rata - rata dari algoritma adalah . $d$ $\mathcal{I}$ $A\in \mathcal{A}_0$ $C(A,d)=\sum_{x\in\mathcal{I}} d(x)\cdot r(A,x)$

Kompleksitas Distribusi: Biarkan . Untuk setiap distribusi pada input, biarkan menjadi bagian dari diberikan oleh . Kompleksitas distribusi dengan kesalahan untuk masalah komputasi didefinisikan sebagai . $\lambda\in[0,1]$ $d$ $\beta(\lambda)$ $\mathcal{A}_0$ $\beta(\lambda)=\{A : A\in \mathcal{A}_0, \sum_{x\in\mathcal{I}} d(x)\cdot \epsilon(A,x)\leq \lambda\}$ $\lambda$ $P$ $F_{1,\lambda}(P)=\max_{d} \min_{A\in \beta(\lambda)} C(A,d)$

$\lambda$ -tolerance: Distribusi pada keluarga adalah -tolerant jika . $q$ $\mathcal{A}_0$ $\lambda$ $\max_{x\in \mathcal{I}} \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x)\leq \lambda$

Biaya yang Diharapkan: Untuk algoritma acak , misalkan menjadi distribusi probabilitas yang toleran pada . Biaya yang diharapkan dari untuk input diberikan adalah . $R$ $q$ $\lambda$ $\mathcal{A}_0$ $R$ $x$ $E(R,x)=\sum_{A\in \mathcal{A}_0} q(A)\cdot r(A,x)$

Kompleksitas Acak: Biarkan . Kompleksitas acak dengan kesalahan adalah . $\lambda\in[0,1]$ $\lambda$ $F_{2,\lambda}=\min_R \max_{x\in\mathcal{I}} E(R,x)$

Sekarang kita siap untuk terjun ke bisnis. Apa yang ingin kita buktikan diberi distribusi pada input dan algoritma acak (yaitu, distribusi pada ) $d$ $R$ $q$ $\mathcal{A}_0$

Prinsip Minimax Yao untuk Algoritma Montecarlo untuk .
$max_{x \in I} E (R, x) \geq \frac{1}{2} min_{A \in β (2 λ)} C (A, d)$ $\begin{equation}\max_{x\in\mathcal{I}} E(R,x)\geq \frac{1}{2}\min_{A\in \beta(2\lambda)} C(A,d) \end{equation}$ $\lambda\in[0,1/2]$

Saya akan mengikuti pendekatan yang diberikan oleh Fich, Meyer auf der Heide, Ragde dan Wigderson (lihat Lemma 4). Pendekatan mereka tidak menghasilkan karakterisasi untuk algoritma Las Vegas (hanya batas bawah), tetapi cukup untuk tujuan kita. Dari buktinya, mudah dilihat bahwa untuk dan $\mathcal{A}_0$ $\mathcal{I}$

Klaim 1. . $\max_{x\in \mathcal{I}} E(R,x)\geq \min_{A\in \mathcal{A}_0} C(A,d)$

Untuk mendapatkan angka yang benar di sana, kami akan melakukan hal serupa. Mengingat bahwa distribusi probabilitas diberikan oleh algoritma acak adalah $q$ $R$ $\lambda$ -tolerant pada kita memiliki $\mathcal{A}_0$ Jika kita mengganti keluargadengankita melihatnya

\begin{aligned} λ & \geq max_{x \in I} {\sum_{A \in A_{0}} q (A) \cdot ϵ (A, x)} \\ \geq \sum_{x \in I} d (x) \sum_{A \in A_{0}} q (a) \cdot ϵ (A, x) \\ = \sum_{A \in A_{0}} q (a) \sum_{x \in I} d (x) \cdot ϵ (A, x) \\ \geq min_{A \in A_{0}} {\sum_{x \in I} d (x) \cdot ϵ (A, x)} . \end{aligned}

$\begin{align*} \lambda &\geq \max_{x\in \mathcal{I}}\left\{ \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x) \right\}\\ &\geq \sum_{x\in\mathcal{I}} d(x) \sum_{A\in \mathcal{A}_0} q(a)\cdot \epsilon(A,x)\\ &= \sum_{A\in \mathcal{A}_0} q(a)\sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x)\\ &\geq \min_{A\in \mathcal{A}_0}\left\{ \sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x) \right\}. \end{align*}$

A_{0}

$\mathcal{A}_0$

β (2 λ)

$\beta(2\lambda)$

\begin{aligned} λ & \geq max_{x \in I} {\sum_{A \in A_{0}} q (A) \cdot ϵ (A, x)} \\ \geq max_{x \in I} {\sum_{A \in β (2 λ)} q (A) \cdot ϵ (A, x)} \\ \geq \sum_{x \in I} d (x) \sum_{A \in β (2 λ)} q (a) \cdot ϵ (A, x) \\ = \sum_{A \in β (2 λ)} q (a) \sum_{x \in I} d (x) \cdot ϵ (A, x) \\ \geq min_{A \in β (2 λ)} {\frac{1}{2} \sum_{x \in I} d (x) \cdot ϵ (A, x)}, \end{aligned}

$\begin{align*} \lambda &\geq \max_{x\in \mathcal{I}}\left\{ \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x) \right\}\\ &\geq \max_{x\in \mathcal{I}}\left\{ \sum_{A\in\beta(2\lambda)} q(A)\cdot \epsilon(A,x) \right\}\\ &\geq \sum_{x\in\mathcal{I}} d(x) \sum_{A\in \beta(2\lambda)} q(a)\cdot \epsilon(A,x)\\ &= \sum_{A\in \beta(2\lambda)} q(a)\sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x)\\ &\geq \min_{A\in \beta(2\lambda)}\left\{ \frac{1}{2}\sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x) \right\}, \end{align*}$

di mana ketidaksetaraan kedua mengikuti karena , dan ketidaksetaraan terakhir diberikan oleh definisi mana penjumlahan dibagi 2 tidak bisa lebih besar dari . Oleh karena itu, $\beta(2\lambda) \subseteq \mathcal{A}_0$ $\beta(2\lambda)$ $\lambda$

max_{x \in I} {\sum_{A \in A_{0}} q (A) \cdot ϵ (A, x)} \geq \frac{1}{2} min_{A \in β (2 λ)} {\sum_{x \in I} d (x) \cdot ϵ (A, x)} .

$\begin{equation}\max_{x\in \mathcal{I}}\left\{ \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x) \right\}\geq\frac{1}{2} \min_{A\in \beta(2\lambda)}\left\{ \sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x) \right\}. \end{equation}$

Dengan mencatat bahwa memetakan ke dan memetakan ke dan Klaim 1 di atas, sekarang kita dapat dengan aman mengganti fungsi dalam ketidaksetaraan di atas dengan untuk mendapatkan ketidaksetaraan yang diinginkan. $\epsilon$ $\{0,1\}$ $r$ $\mathbb{N}$ $\epsilon$ $r(A,x)$

— Marcos Villagra
sumber

Apakah ada penjelasan singkat dari mana faktor 2 berasal?

— Robin Kothari

β (2 λ)

$\beta(2\lambda)$

λ

$\lambda$

max_{A \in β (2 λ))} {\frac{1}{2} \sum_{x \in I} d (x), ϵ (A, x)} \leq λ

$\max_{A \in \beta(2\lambda))} \left\{\frac{1}{2} \sum_{x \in \mathcal{I}}{d(x), \epsilon(A,x)}\right\} \leq \lambda$

ϵ

$\epsilon$

r

$r$

mengenai pertanyaan pertama Anda, saya menambahkan lebih banyak detail.

— Marcos Villagra