Contoh Toy untuk pemecah Plotkin-Shmoys-Tardos dan Arora-Kale

Saya ingin memahami bagaimana pemecah Arora-Kale SDP mendekati relaksasi Goemans-Williamson dalam waktu yang hampir linier, bagaimana pemecah Plotkin-Shmoys-Tardos mendekati masalah pecahan "pengepakan" dan "menutupi" dalam waktu yang hampir linear, dan bagaimana algoritme adalah contoh kerangka abstrak "belajar dari para ahli".

Tesis Kale memiliki presentasi yang sangat baik, tetapi saya merasa sangat sulit untuk langsung terjun ke kerangka abstrak, dan saya lebih suka mulai dari contoh masalah sederhana yang jelas-jelas jelas apa yang harus dilakukan, dan kemudian pindah ke masalah yang lebih umum , semakin menambahkan "fitur" ke algoritme dan analisisnya.

Sebagai contoh:

Bagaimana Plotkin-Shmoys menyelesaikan relaksasi pemrograman linear dari penutup vertex tanpa bobot? Penutup vertex tertimbang? Pasang penutup? Pencocokan bipartit?

Apa contoh paling sederhana di mana algoritma Arora-Kale melakukan sesuatu yang menarik? Bagaimana cara menghitung nilai eigen terbesar dari Laplacian grafik?

(Menghitung nilai eigen terbesar Laplacian setara dengan masalah penyelesaian versi yang lebih lemah dari relaksasi SDP Goemans-Williamson dari Max Cut, di mana, alih-alih membutuhkan setiap vektor dengan panjang satu, Anda ingin jumlah kuadrat norma menjadi | V |.)

— Luca Trevisan
sumber

Itu pertanyaan yang bagus.

— Suresh Venkat

Untuk memahami algoritma gaya PST untuk masalah pengemasan, ada baiknya untuk melihat algoritma untuk memecahkan masalah aliran multikommoditas yang merupakan tempat PST berevolusi. Kertas Neal Young menjelaskan set penutup secara detail. Ihttp: //www.cs.ucr.edu/~neal/non_arxiv/SODA_1995_170.pdf. Saya pikir survei Arora-Kale-Hazan juga membuat hubungan antara kerangka kerja para ahli dan pengemasan / peliput yang eksplisit.

— Chandra Chekuri

@ChandraChekuri: Agak tertunda, tapi saya ingin tahu apakah Anda harus menjawabnya?

— Suresh Venkat

FWIW, untuk beberapa catatan yang berkembang di kertas SODA @ChandraChekuri yang disebutkan, lihat greedyalgs.info/blog/about .

— Neal Young

Tautan yang diperbarui: algnotes.info/on/obliv

— Neal Young

Luca, sejak satu tahun berlalu, Anda mungkin telah meneliti jawaban Anda sendiri. Saya menjawab beberapa pertanyaan Anda di sini hanya untuk catatan. Saya meninjau beberapa algoritma relaksasi Lagrangian untuk masalah yang Anda sebutkan, dan membuat sketsa koneksi ke pembelajaran (khususnya, mengikuti saran ahli). Saya tidak berkomentar di sini tentang algoritma SDP.

Perhatikan bahwa algoritma tertentu yang Anda sebutkan tidak berjalan dalam waktu yang hampir linier. (Ada algoritme waktu yang hampir linier untuk pengemasan yang diberikan secara eksplisit atau mengatasi masalah. Lihat Mengalahkan Simpleks untuk Pengemasan Pecahan dan Menutupi Program Linear .) Algoritma yang ada dalam pikiran Anda biasanya memiliki varian yang berjalan dalam jumlah iterasi yang hampir linier , tetapi masing-masing iterasi biasanya memerlukan setidaknya waktu linier juga. Saya membahas beberapa algoritma di bawah ini.

Beberapa fungsi yang bermanfaat

Sebelum kita mulai, berikut adalah beberapa fungsi yang akan kita gunakan dalam sketsa bukti. (Jika Anda tertarik pada algoritme, tetapi bukan perincian buktinya, Anda dapat langsung beralih.) Untuk setiap vektor , tentukan sebagai . Fungsi ini merupakan batas atas pada : Secara analog, tentukan sebagai , batas bawah pada . $y$ $\mbox{Lmax}(y)$ $\ln \sum_i \exp(y_i)$ $\max_i y_i$

max_{i} y_{i} \leq Lmax (y) \leq max_{i} y_{i} + \ln m .

$\max_i y_i ~\le~ \mbox{Lmax}(y) ~\le~ \max_i y_i + \ln m.$

Lmin (y)

$\mbox{Lmin}(y)$

- Lmax (- y)

$-\mbox{Lmax}(-y)$

min_{i} y_{i}

$\min_i y_i$

Untuk kenyamanan dalam apa yang berikut, kami menggunakan untuk menunjukkan gradien dari Lmin. Kami menggunakan untuk menunjukkan gradien dari Lmax. $g(y)$ $\nabla \mbox{Lmin}(y)$ $G(y)$ $\nabla \mbox{Lmax}(y)$

Secara eksplisit, adalah sedangkan adalah . $g_i(y)$ $\exp(-y_i)/\sum_{i'} \exp(-y_{i'})$ $G_i(y)$ $\exp(y_i)/\sum_{i'} \exp(y_{i'})$

Lmin dan Lmax halus dalam arti berikut: untuk setiap vektor dan , dan $d\in[0,\varepsilon]^n$ $y\in R^n$

Lmin (y + d) \geq Lmin (y) + (1 - O (ε)) d \cdot g (y)

$\mbox{Lmin}(y+d) ~\ge~ \mbox{Lmin}(y) ~+~ (1-O(\varepsilon))\, d \cdot g(y)$

Lmax (y + d) \leq Lmax (y) + (1 + O (ε)) d \cdot G (y) .

$\mbox{Lmax}(y+d) ~\le~ \mbox{Lmax}(y) ~+~ (1+O(\varepsilon))\, d \cdot G(y).$

Perhatikan bahwa kedua gradien memiliki 1-norma sama dengan 1: . (Sepanjang kami menggunakan untuk menunjukkan 1-norma.) $|G(y)| = |g(y)| = 1$ $|z|$

Perhatikan juga bahwa, untuk matriks , gradien fungsi sehubungan dengan adalah (dengan aturan rantai) . Lebih eksplisit, turunan parsial dari fungsi sehubungan dengan adalah . Demikian juga, turunan parsial Lmax sehubungan dengan adalah . $A$ $x\mapsto \mbox{Lmin}(Ax)$ $x$ $(g(Ax))^T A$ $x_j$ $\sum_i A_{ij} \exp(-A_i x) / \sum_i \exp(-A_i x)$ $(Ax)$ $x_j$ $\sum_i A_{ij} \exp(A_i x)/\sum_i \exp(A_i x)$

Penutup Set Pecahan

Perbaiki contoh Set-Cover. Biarkan menunjukkan matriks elemen / set kejadian. Dengan demikian, jika , 0, dan adalah sejauh mana penutup fraksional mencakup elemen . $A$ $A_{es} = 1$ $e\in s$ $A_e x$ $x$ $e$

LP adalah . Diberikan , algoritmenya adalah $\min\{ |x| : A x \ge 1; x \ge 0\}$ $\varepsilon\in (0,1)$

Inisialisasi semua . Biarkan . $x_s = 0$ $N=\log(n)/\varepsilon$
Ulangi sampai : $\min_e A_e x \ge N$

2.1. Pilih memaksimalkan turunan parsial Lmin wrt . (Secara eksplisit, pilih memaksimalkan .) $s$ $(Ax)$ $x_s$
$s$ $\sum_{e\in s} \exp(-\sum_{s'\ni e} x_{s'})$

2.2. Tambah oleh . $x_s$ $\varepsilon$
Kembalikan . $x/\min_{e} A_e x$

Algoritma mengembalikan solusi perkiraan di iterasi, di mana adalah jumlah elemen dan adalah optimal set penutup fraksional (sepele ). (Algoritma serupa muncul di kertas yang disebutkan Chandra . Vertex Cover tentu saja merupakan kasus khusus.) $(1+O(\varepsilon))$ $O(|x^*|\log(n)/\varepsilon^2)$ $n$ $x^*$ $|x^*|\le n$

( Catatan: Perhatikan bahwa batas iterasi tidak tergantung pada jumlah set, hanya jumlah elemen. Dengan demikian, algoritma dapat digunakan dengan sistem set yang ditentukan secara implisit, asalkan diberi bobot pada elemen, kita dapat secara efisien menemukan satu set berat total maksimum (atau hampir maksimum). Jenis oracle ini sama dengan oracle yang diperlukan untuk menerapkan algoritma ellipsoid pada masalah ganda . Untuk masalah pengemasan seperti mengatur pengemasan, Anda memerlukan oracle yang, diberi bobot pada elemen, mengembalikan set yang meminimalkan bobot total. Untuk masalah seperti aliran multi-komoditas, Anda mungkin, misalnya, perlu menemukan jalur yang meminimalkan jumlah beberapa bobot tepi tertentu.)

Berikut ini sketsa bukti jaminan kinerja. Dalam setiap iterasi, turunan parsial wr dipilih setidaknya, di mana adalah penutup set pecahan optimal. $s$ $1/|x^*|$ $x^*$

(Untuk mengetahui alasannya, ingatlah bahwa gradien Lmin berkenaan dengan adalah . Jika kita memilih himpunan secara acak dari distribusi , nilai yang diharapkan dari turunan parsial sehubungan dengan dengan demikian akan menjadi . Sejak , ini setidaknya . Karena , ini setidaknya . Dengan demikian, harus ada beberapa memberikan turunan parsial setidaknya . Karena algoritma memilih $(Ax)$ $x$ $(g(Ax))^T A$ $s'$ $x^*/|x^*|$ $x_{s'}$ $(g(Ax))^T \,A x^*/|x^*|$ $Ax^* \ge 1$ $|g(Ax)|/|x^*|$ $|g(Ax)|=1$ $1/|x^*|$ $s$ $1/|x^*|$ $x_s$ dalam setiap iterasi untuk memaksimalkan turunan parsial, ia mencapai turunan parsial setidaknya.) $1/|x^*|$

Kemudian, ukuran langkah dipilih cukup kecil sehingga tidak ada koordinat meningkat lebih dari . Dengan demikian, karena kehalusan Lmin, meningkatkan ke meningkat dengan setidaknya . $\varepsilon$ $A x$ $\varepsilon$ $x_s$ $x_s+\varepsilon$ $\mbox{Lmin}(Ax)$ $(1-O(\varepsilon))\varepsilon/|x^*|$

Dengan cara ini, algoritma mempertahankan invarian (Perhatikan bahwa Lmin sama dengan .)

Lmin (A x) \geq (1 - O (ε)) | x | / | x^{*} | - \ln n .

$\mbox{Lmin}(Ax) \ge (1-O(\varepsilon)) |x|/|x^*| - \ln n.$

(\bar{0})

$(\overline 0)$

\ln n

$\ln n$

Pada saat terminasi, pada invarian, istilah adalah dikali sisi kiri, sehingga dengan perhitungan kita mendapat. Setelah normalisasi pada baris terakhir dari algoritma, ini menyiratkan. $\ln n$ $O(\varepsilon)$ $\min_e A_e x \ge (1-O(\varepsilon)) |x|/|x^*|$ $|x| \le (1+O(\varepsilon))|x^*|$

FWIW, ketidaksetaraan yang terlibat dalam membuktikan invarian pada dasarnya sama dengan yang terlibat dalam membuktikan ikatan Chernoff. (Pada kenyataannya, algoritma ini dapat diturunkan dengan menerapkan metode probabilitas bersyarat ke skema pembulatan acak yang berulang kali menetapkan sampel dari distribusi (dengan penggantian), meningkatkan untuk setiap set sampel Ini derandomisasi yang memberikan algoritma: invarian yang mendasari hanya bahwa estimator pesimis tetap di bawah 1. Denda eksponensial dalam estimator pesimis berasal dari penggunaan Chernoff terikat dalam analisis skema pembulatan. Ide dasar ini dijelaskan lebih lanjut di koran yang disebutkan Chandra .) $x^*/|x^*|$ $x_s$ $s$

Penutup Set Berbobot Pecahan (dan Penutupan fraksional umum)

Untuk menangani masalah seperti Weighted Set Cover secara efisien , kami memodifikasi algoritme untuk menggunakan peningkatan yang tidak seragam (ide karena Garg dan Konemann ).

LP adalah , di mana rentang atas unsur-unsur, rentang atas set, dan semua variabel yang non -negatif. Untuk menyajikan algoritme, tulis ulang masalah sebagai masalah penutup umum. Biarkan untuk dan sebaliknya. Kemudian (dengan perubahan variabel, setiap skala oleh ), LP adalah , yang dapat kita lihat sebagai LP umum yang meliputi. Berikut algoritanya: $\min\{ c\cdot x : (\forall e) \sum_{s\ni e} x_s \ge 1\}$ $e$ $s$ $A_{es} = 1/c_s$ $e\in s$ $A_{es} = 0$ $x_s$ $c_s$ $\min\{ |x| : A x \ge 1; x \ge 0\}$

Inisialisasi semua . Biarkan . $x_s = 0$ $N=\log(n)/\varepsilon$
Ulangi sampai semua batasan yang menutupi telah dihapus:

2.1. Pilih memaksimalkan turunan parsial Lmin wrt . (Secara eksplisit, pilih memaksimalkan .) $s$ $(Ax)$ $x_s$
$s$ $\sum_{e\in s} \exp({-\sum_{s'\ni e} x_{s'}})/c_s$

2.2. Tingkatkan oleh , di mana dipilih secara maksimal sehingga, untuk setiap batasan tersisa , peningkatan paling banyak . $x_s$ $\delta$ $\delta$ $e$ $A_e \cdot x$ $\varepsilon$

2.3 Hapus semua kendala yang meliputi sehingga . $e$ $A_e\cdot x \ge N$
Kembalikan . $x/\min_e A_e\cdot x$

Algoritme mengembalikan solusi -roksimasi dalam iterasi , di mana adalah jumlah batasan yang meliputi. (Setiap iterasi meningkatkan beberapa tersisa dengan ; ini hanya dapat terjadi kali terhadap kendala sebelum dihapus.) Bukti kebenarannya adalah pada dasarnya invarian yang sama seperti pada Set Cover. $(1+O(\varepsilon))$ $O(n\log(n)/\varepsilon^2)$ $n$ $A_e x$ $\varepsilon$ $N/\varepsilon$

Penutup Vertex Berbobot adalah kasus khusus.

Pencocokan Bipartit Pecahan Maksimum

Diberikan grafik , LP alami untuk masalahnya adalah . $G=(U,W,E)$ $\max\{|x| : \forall v.\, \sum_{e\ni v} x_e \le 1\}$

Dalam representasi matriks, ini adalah LP pengemasan dengan koefisien 0-1 ( jika ). Masalah seperti itu tidak memerlukan kenaikan yang tidak seragam, jadi algoritma sederhana yang dianalogikan dengan algoritma Set Cover tidak berbobot (tetapi untuk pengemasan) akan dilakukan: $\max\{|x| : Ax \le 1; x \ge 0\}$ $A_{ve} = 1$ $v\in e$

Inisialisasi semua . Biarkan . $x_e = 0$ $N=\log(n)/\varepsilon$
Sementara : $A x < N$

2.1. Pilih meminimalkan turunan parsial Lmax wrt . (Secara eksplisit, pilih untuk meminimalkan .) $e$ $(Ax)$ $x_e$
$e$ $\sum_{v\in e} \exp(\sum_{e'\ni v} x_{e'})$

2.2. Tambah dengan . $x_e$ $\varepsilon$
Kembalikan . $x/\max_{v} A_v x$

Algoritme mengembalikan solusi -roksimasi dalam iterasi . (Ini karena setiap iterasi meningkat oleh , dan akhirnya, sebelum normalisasi, .) $(1-O(\varepsilon))$ $O(n\log(n)/\varepsilon^2)$ $|x|$ $\varepsilon$ $|x| = O(N n)$

Hanya untuk bersenang-senang, berikut adalah algoritma alternatif yang aneh untuk Pencocokan Bipartit Sempurna. Ingat bahwa . Biarkan. $G=(U,W,E)$ $n=|U|=|W|$

Inisialisasi semua . Misalkan . $x_e = 0$ $N=4\ln(n)/\varepsilon$
Ulangi kali: $n\,N$

2.1. Pilih seragam secara acak dari . 2.2. Pilih sedemikian rupa sehingga meminimalkan . 2.3. Tambah oleh . $u$ $U$
$w$ $(u,w)\in E$ $\sum_{e\ni w} x_e$
$x_{uw}$ $\varepsilon$
Kembali . $x/N$

Jika memiliki pencocokan sempurna, algoritme mengembalikan sedemikian rupa sehingga , dan, dengan probabilitas tinggi, untuk semua simpul , , dan untuk semua simpul , . Jika Anda tertarik dengan perincian buktinya, silakan tanyakan ... $G$ $x$ $|x|=n$ $u\in U$ $1-O(\varepsilon) \le \sum_{e\ni u} x_e \le 1+O(\varepsilon)$ $w\in W$ $\sum_{e\ni w} x_e \le 1+O(\varepsilon)$

Kemasan campuran dan penutup

Anda mungkin telah bertanya tentang pencocokan bipartit dengan harapan untuk contoh pengemasan campuran dan masalah penutup, yaitu, salah satu bentuk Inilah salah satu algoritma untuk masalah seperti itu. Pertama, normalkan sehingga dan .

\exists x ? P x \leq p; C x \geq c; x \geq 0.

$\exists x?~ Px \le p; Cx \ge c; x \ge 0.$

p = \bar{1}

$p=\overline 1$

c = \bar{1}

$c=\overline 1$

Biarkan menjadi jumlah kendala (baris dalam ditambah baris dalam ). $m$ $P$ $C$

Inisialisasi semua . Misalkan . $x_j = 0$ $N=2\ln(m)/\varepsilon$
Sedangkan : $P x < N$

2.1. Pilih sehingga turunan parsial dari Lmax sehubungan dengan paling banyak merupakan turunan parsial dari Lmin sehubungan dengan . (Secara eksplisit, pilih sedemikian sehingga $j$ $(Px)$ $x_j$ $(Cx)$ $x_j$ $j$
$\frac{\sum_{i} P_{i j} \exp (P_{i} x)}{\sum_{i} \exp (P_{i} x)} \leq \frac{\sum_{i} C_{i j} \exp (- C_{i} x)}{\sum_{i} \exp (- C_{i} x)} .)$ $\frac{\sum_i P_{ij} \exp(P_i x)}{\sum_{i}\exp(P_i x)} \le \frac{\sum_i C_{ij} \exp(-C_i x)}{\sum_{i}\exp(-C_i x)}.)$

2.2. Tambah oleh , di mana dipilih secara maksimal sehingga tidak ada batasan atau batasan yang tersisa bertambah lebih dari . $x_j$ $\delta$ $\delta$ $P_i x$ $C_i x$ $\varepsilon$

2.3. Hapus semua kendala yang meliputi seperti yang . $i$ $C_i x \ge N$
Kembalikan . $x/\max_i P_i x$

Dengan asumsi masalah yang diberikan adalah layak, algoritma mengembalikan sehingga dan . Jumlah iterasi adalah , karena setiap iterasi meningkatkan beberapa kendala oleh , dan ini dapat terjadi untuk setiap kendala paling banyak kali. $x$ $Px\le 1$ $Cx\ge 1-O(\varepsilon)$ $O(m\ln(m)/\varepsilon^2)$ $\varepsilon$ $N$

Bukti kebenaran adalah melalui invarian Invariannya menyiratkan Pada penghentian sisi kiri adalah , membuktikan jaminan kinerja.

Lmax (P x) \leq 2 \ln (m) + (1 + O (ε)) Lmin (C x) .

$\mbox{Lmax}(Px) \le 2\ln(m) + (1+O(\varepsilon)) \mbox{Lmin}(Cx).$

max P x \leq 2 \ln (m) + (1 + O (ε)) min C x .

$\max Px \le 2\ln(m) + (1+O(\varepsilon)) \min Cx.$

Ω (\log (m) / ε)

$\Omega(\log(m)/\varepsilon)$

Pada Langkah 2.1, diinginkan harus ada selama masalah aslinya layak. (Hal ini karena, untuk setiap layak , dan setiap , jika kita memilih secara acak dari distribusi , nilai yang diharapkan dari turunan parsial dari Lmax sehubungan dengan akan paling banyak (lihat sketsa bukti sebelumnya untuk Set Cover). Demikian juga, nilai yang diharapkan dari turunan parsial Lmin sehubungan dengan akan menjadi setidaknya . Jadi, ada $j$ $x^*$ $x$ $j'$ $x^*/|x^*|$ $(Px)$ $x_{j'}$ $1/|x^*|$ $(Cx)$ $x_{j'}$ $1/|x^*|$ $j$ sedemikian rupa sehingga turunan parsial Lmax sehubungan dengan paling banyak merupakan turunan parsial dari Lmin .) $(Px)$ $x_{j'}$ $(Cx)$

Kemudian invarian dipertahankan dalam setiap iterasi karena, dengan pilihan dan , dan kehalusan Lmin dan Lmax, meningkatkan ke meningkatkan paling banyak Lmax paling banyak kali peningkatan Lmin . $x_j$ $\delta$ $x_j$ $x_j+\delta$ $(Px)$ $1+O(\varepsilon)$ $(Cx)$

Belajar (mengikuti pakar / meningkatkan)

Salah satu referensi untuk memahami koneksi ini adalah permainan Adaptive dengan menggunakan bobot multiplikatif , oleh Freund dan Schapire. Berikut ini ringkasan singkat untuk memberikan ide teknis.

Pertimbangkan permainan berulang berikut ini. Di setiap putaran : $t$

Anda memilih distribusi probabilitas pada (yang disebut ahli ). $p^t$ $[n]$ $n$
Mengetahui , musuh kemudian memilih vektor hasil . $p^t$ $a^t\in [0,1]^{n}$
Anda menerima hasil untuk putaran itu. $p^t\cdot a^t$

Permainan berhenti setelah beberapa putaran. Tujuan Anda adalah untuk meminimalkan penyesalan Anda dibandingkan dengan seorang ahli tunggal (yaitu, strategi murni) . Yaitu, tujuan Anda adalah meminimalkan . $i$ $(\max_i \sum_t a^t_i) - \sum_t p^t\cdot a^t$

Perbaiki . Biarkan vektor menyatakan , yaitu, dikalikan jumlah vektor vektor hasil hingga waktu . Ingatlah bahwa adalah gradien Lmax . $\varepsilon>0$ $y^t$ $\varepsilon \sum_{s \le t} a^s$ $\varepsilon$ $t$ $G(y)$ $(y)$

Inilah strategi dasar yang akan kami analisis: Pada putaran , pilih menjadi . $t$ $p^t$ $G(y^{t-1})$

Dengan inspeksi, ini memberi Anda hasil di babak . $a^t \cdot G(y^{t-1})$ $t$

Karena properti smoothness dari , Yaitu, di setiap babak, tidak dapat meningkat lebih dari dikali hasil Anda. Karena , ini menyatakan bahwa paling banyak adalah total waktu pembayaran Anda , plus . Di sisi lain, penyesalan Anda dibandingkan dengan pakar terbaik adalah , yaitu, $F$

Lmax (y^{t}) \leq Lmax (y^{t - 1}) + (1 + O (ε)) ε a^{t} \cdot G (y^{t - 1}) .

$\mbox{Lmax}(y^t) \le \mbox{Lmax}(y^{t-1}) + (1+O(\varepsilon)) \varepsilon a^t \cdot G(y^{t-1}).$

Lmax (y^{t})

$\mbox{Lmax}(y^t)$

ε (1 + O (ε))

$\varepsilon(1+O(\varepsilon))$

Lmax (\bar{0}) = \ln n

$\mbox{Lmax}(\overline 0) = \ln n$

Lmax (y^{t})

$\mbox{Lmax}(y^t)$

ε (1 + O (ε)

$\varepsilon(1+O(\varepsilon)$

\ln (n)

$\ln(n)$

i

$i$

max_{i} \sum_{t} a_{i}^{t}

$\max_i \sum_t a^t_i$

ε^{- 1} max_{i} y_{i}^{t}

$\varepsilon^{-1} \max_i y^t_i$

, yang pada gilirannya paling banyak .

ε^{- 1} Lmax (y^{t})

$\varepsilon^{-1} \mbox{Lmax}(y^t)$

Dengan demikian, penyesalan Anda paling banyak , ditambah dikali pembayaran total Anda. $\varepsilon^{-1} \ln(n)$ $O(\varepsilon)$

Catatan: Saya pikir, seperti yang ditunjukkan Freund dan Schapire, algoritma "meningkatkan" (dalam teori pembelajaran) juga tersirat dalam analisis ini. Lihat kertas mereka untuk lebih jelasnya.

Meminimalkan hasil total

Anda dapat memperoleh strategi serupa untuk pengaturan di mana tujuannya adalah untuk meminimalkan , bukannya memaksimalkan, hasil total. Penyesalan Anda, yang masih ingin Anda kurangi, adalah . Dalam hal itu, strategi yang sesuai adalah memilih untuk menjadi gradien dari . Dengan strategi ini, penyesalan Anda sekali lagi paling banyak plus dikalikan jumlah total pembayaran Anda. $\sum_t p^t\cdot a^t - \min_i a^t_i$ $p^t$ $\mbox{Lmin}(y^t)$ $\varepsilon^{-1} \ln n$ $O(\varepsilon)$

Koneksi ke algoritma relaksasi Lagrangian

Untuk melihat koneksi ke algoritma relaksasi Lagrangian, perbaiki instance Set-Cover. Pertimbangkan jenis permainan yang terakhir (dengan tujuan meminimalkan hasil), di mana para ahli sesuai dengan elemen dari sistem yang Anda tetapkan. Dalam setiap putaran, pilih distribusi probabilitas untuk menjadi gradien Lmin seperti di atas, dan minta musuh memilih vektor hasil sebagai fungsi sebagai berikut: pilih set memaksimalkan , lalu biarkan jika , dan sebaliknya. $e$ $p^t$ $(y^t)$ $a^t$ $p^t$ $s^t$ $\sum_{e\in s} p^t_e$ $a^t_e = 1$ $e\in s^t$ $a^t_e = 0$

Mengingat kondisi berhenti yang benar (dibahas di bawah), proses ini memberi Anda tepat algoritma Set-Cover yang dibahas di awal.

Jaminan kinerja algoritma mengikuti dari batas penyesalan sebagai berikut. Biarkan menjadi berapa kali musuh memilih set selama bermain. Biarkan menjadi penutup set pecahan optimal. Biarkanmenjadi jumlah putaran yang dimainkan. Batas penyesalan menyiratkan $X_s$ $s$ $x^*$ $T=|X_s|$

\sum_{t} a^{t} \cdot p^{t} \leq ε^{- 1} \ln (m) + min_{e} \sum_{t} a_{e}^{t} .

$\textstyle \sum_t a^t\cdot p^t \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$

Menggunakan definisi dari , yang th hasil (yang jangka th dalam jumlah di sebelah kiri) sama dengan . Musuh memilih untuk meminimalkan hasil ini. Jika musuh memilih secara acak dari distribusi, harapan imbalannya adalah (Di atas kita gunakan itu untuk semua , dan ) Karena setiap hadiah setidaknya $a^t$ $t$ $t$ $\sum_{e\in s^t} p^t_e$ $s^t$ $s^t$ $x^*/|x^*|$

\sum_{s} \frac{x_{s}^{*}}{| x^{*} |} \sum_{e \in s} p_{e}^{t} = \frac{1}{| x^{*} |} \sum_{e} p_{e}^{t} \sum_{s ∋ e} x_{s}^{*} \geq \frac{1}{| x^{*} |} \sum_{e} p_{e}^{t} = \frac{1}{| x^{*} |} .

$\sum_s \frac{x^*_s}{|x^*|} \sum_{e\in s} p^t_e ~=~ \frac{1}{|x^*|} \sum_e p^t_e \sum_{s\ni e} x^*_s ~\ge~ \frac{1}{|x^*|} \sum_e p^t_e ~=~ \frac{1}{|x^*|}.$

\sum_{s ∋ e} x_{s}^{*} \geq 1

$\sum_{s\ni e} x^*_s \ge 1$

e

$e$

| p^{t} | = 1

$|p^t| = 1$

1 / | x^{*} |

$1/|x^*|$ , batas penyesalan menyiratkan Dengan definisi , kita memiliki (setiap putaran memilih satu set), dan , memberikan Kami menghentikan proses ketika , jadi (mengatur ulang istilah) Yaitu, menormalkan memberikan penutup fraksi set ukuran paling banyak waktu optimal.

\frac{T}{| x^{*} |} \leq ε^{- 1} \ln (m) + min_{e} \sum_{t} a_{e}^{t} .

$\frac{T}{|x^*|} \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$

X

$X$

| X | = T

$|X| = T$

\sum_{t} a_{e}^{t} = \sum_{e} [e \in s^{t}] = \sum_{s ∋ e} X_{s}

$\sum_t a_e^t = \sum_e [e\in s^t] = \sum_{s\ni e} X_s$

\frac{| X |}{| x^{*} |} \leq ε^{- 1} \ln (m) + min_{e} \sum_{s ∋ e} X_{s} .

$\frac{|X|}{|x^*|} \le \varepsilon^{-1}\ln(m) +\min_e \sum_{s\ni e} X_s.$

min_{e} \sum_{s ∋ e} X_{s} = Ω (ε^{- 2} \ln m)

$\min_e \sum_{s\ni e} X_s = \Omega(\varepsilon^{-2}\ln m)$

\frac{| X |}{min_{e} \sum_{s ∋ e} X_{s}} \leq (1 + O (ε) | x^{*} | .

$\frac{|X|}{\min_e \sum_{s\ni e} X_s}~ \le~ (1+O(\varepsilon)|x^*|.$

X

$X$

(1 + O (ε))

$(1+O(\varepsilon))$

Catatan: Dalam arti tertentu, penafsiran teori pembelajaran ini menggeneralisasikan penafsiran algoritmik. Namun, beberapa teknik algoritmik yang diperlukan untuk efisiensi (seperti kenaikan yang tidak seragam dan menjatuhkan batasan yang memuaskan) tampaknya tidak terbawa ke dalam pengaturan teori pembelajaran secara alami. Demikian juga, algoritma untuk pengemasan campuran dan mencakup piringan hitam (misalnya ini ) tampaknya tidak memiliki analog alami dalam pengaturan teori pembelajaran.

— Neal Young
sumber

Itulah jawabannya !!

— Suresh Venkat

Terima kasih. Mungkin overdid. Saya tertarik dengan umpan balik: bagaimana menyajikan ide-ide ini secara mudah diakses, apa lagi yang harus disertakan ...

— Neal Young