Apakah optimasi cembung di P?

Pertimbangkan masalah optimasi cembung dalam formulir

\begin{aligned} f_{0} (x_{1}, \dots, x_{n}) & \to min \\ f_{i} (x_{1}, \dots, x_{n}) & \leq 0, i = 1, \dots, m \end{aligned}

$\begin{align} f_0(x_1, \ldots, x_n) &\to \min \\ f_i(x_1, \ldots, x_n) & \leq 0, \quad i = 1, \ldots, m \end{align}$

di mana $f_0, f_1, \dots, f_m$ adalah fungsi cembung. Tanpa kehilangan keumuman, kita dapat mengasumsikan bahwa $f_0$ adalah linear.

Nesterov dan Nemirovskii menyebutkan dalam buku mereka "Algoritma polinomial titik interior dalam pemrograman cembung" bahwa ada algoritma yang dapat menyelesaikan program cembung dalam waktu polinomial dalam arti berikut. Kami ingin memiliki solusi dalam akurasi relatif $\varepsilon$ dengan biaya $O(p(n,m) \ln (n/\varepsilon))$ perhitungan nilai dan $O(q(n,m) \ln(n/\varepsilon))$ perhitungan dari subgradien. Kemudian, untuk metode ellipsoid, diklaim demikian

p (n, m) = n^{3} (m + n), q (n, m) = n^{2}

$p(n,m) = n^3 (m+ n), \qquad q(n,m) = n^2$

Pada pandangan pertama, ini tampaknya menyiratkan bahwa masalah optimisasi cembung dapat diselesaikan dalam waktu polinomial menggunakan metode ellipsoid (mari kita asumsikan untuk kesederhanaan bahwa nubuat untuk menghitung nilai-nilai dan subgradien membutuhkan waktu $O(1)$ untuk kelas yang dipertimbangkan dari masalah optimisasi cembung).

Namun, saya benar-benar tidak mengerti, apakah ekspresi $O(\cdot)$ entah bagaimana tergantung pada fungsi $f_i$ , misalnya pada Hessians mereka, atau tidak. Dalam hal ini, kompleksitas mungkin memiliki ledakan eksponensial karena sifat kelengkungan fungsi. Selain itu, secara misterius diklaim bahwa "metode ellipsoid tidak bekerja dengan baik dalam praktik". Sepertinya tidak ada konsensus di internet apakah jawaban untuk pertanyaan saya adalah afirmatif atau negatif, lihat misalnya diskusi tentang MathOverflow ini.

Saya telah mencari di setiap buku tentang optimasi cembung yang dapat saya temukan, dan saya mendapat kesan bahwa memang tergantung pada masalahnya, tetapi tidak dapat menemukan konfirmasi yang jelas tentang dugaan ini. Jadi satu-satunya harapan saya adalah secara langsung bertanya kepada orang-orang yang melakukan penelitian di bidang ini. $O(\cdot)$

Metode titik interior yang telah dikembangkan kemudian tampaknya secara eksplisit memperhitungkan kelengkungan menggunakan gagasan hambatan yang sesuai dengan diri sendiri. Tetapi ketika orang mengatakan bahwa metode ini efisien dalam praktiknya, mereka biasanya tidak menentukan ini pada tingkat kompleksitas.

convex-optimization complexity

— Sergey Dovgal
sumber

Masalah-masalah ini (yang bisa sangat halus) dijelaskan secara rinci dalam buku Algoritma Geometrik dan Optimalisasi Kombinatorial oleh Groetschel, Lovasz dan Schrijver. Jawaban kasarnya adalah bahwa dengan metode ellipsoid 1) Anda hanya mendapatkan solusi yang layak dan mendekati optimal, dan 2) Anda perlu mengetahui bola jari-jari yang berisi wilayah yang layak, dan waktu berjalan juga tergantung pada . Mengabaikan kompleksitas mendapatkan gradien, seharusnya tidak ada dependensi tersembunyi lainnya.

R

$R$

\log R

$\log R$

— Sasho Nikolov

Dalam kasus saya, , jadi intuisi saya adalah bahwa metode penghalang dapat bekerja dalam beberapa kasus bahkan ketika . Tapi ini berarti tidak ada teorema umum bahwa terlepas dari , ada algoritma polinomial?

R = \infty

$R = \infty$

R = \infty

$R = \infty$

R

$R$

— Sergey Dovgal

dengan "metode penghalang" Maksud saya metode tipe titik interior yang telah dikembangkan setelah metode ellipsoid oleh Nesterov, Nemirovskii et. Al.

— Sergey Dovgal

Saya pikir itu benar, tanpa beberapa terikat pada

tidak ada jaminan waktu polinomial generik. Dalam banyak kasus ketika wilayah layak tidak terikat Anda masih dapat menunjukkan apriori bahwa jika ada solusi yang layak, maka ada salah satu norma Euclidean paling banyak

, di mana

dapat bergantung pada kompleksitas bit input. Dalam hal ini Anda bisa memotong daerah yang layak dengan bola jari-jari

berpusat di titik asal.

R

$R$

R

$R$

R

$R$

R

$R$

— Sasho Nikolov

Pada tahun 1998, Michel X. Goemans memberikan ceramah ICM, di mana, ia membahas masalah ini: "Program semidefinit dapat diselesaikan (atau lebih tepatnya, didekati) dalam waktu polinomial dalam akurasi tertentu baik dengan algoritma ellipsoid atau lebih efisien melalui interior-point algoritme ... Algoritme di atas menghasilkan solusi yang sangat layak (atau sedikit tidak layak untuk beberapa versi dari algoritma ellipsoid) dan, pada kenyataannya, masalah memutuskan apakah program semidefinite layak (tepatnya) masih terbuka. kasus khusus kelayakan pemrograman semidefinite adalah masalah kuadrat-akar-jumlah. Kompleksitas masalah ini masih terbuka. " http://garden.irmacs.sfu.ca/op/complexity_of_square_root_sum

Pada tahun 1976, Ron Graham, Michael Garey, dan David Johnson tidak dapat menunjukkan beberapa masalah optimasi geometrik seperti apakah Euclidean Travelling Salesman Problem adalah NP-complete (mereka hanya bisa menunjukkan masalahnya NP-hard), alasannya adalah mereka tidak bisa perlihatkan apakah masalah kuadrat-akar-jumlah dapat dipecahkan waktu polinomial atau tidak. https://rjlipton.wordpress.com/2009/03/04/ron-graham-gives-a-talk/

Masalah kuadrat-akar-jumlah adalah masalah terbuka yang panjang yang membingungkan para sarjana dari geometri komputasi, optimisasi, kompleksitas komputasi, teori permainan, dan beberapa bidang lainnya karena mereka semua pada titik tertentu, mencari tahu kendala utama untuk masalah mereka adalah untuk menangani masalah kuadrat-akar-jumlah.

Kemajuan yang paling luar biasa terhadap masalah ini adalah oleh Eric Allender dan rekan penulisnya, pada tahun 2003, mereka menunjukkan masalah ini terletak pada tingkat ke-4 dari Hirarki Penghitungan. http://ftp.cs.rutgers.edu/pub/allender/slp.pdf

Jadi berdasarkan fakta di atas, seseorang tidak dapat memecahkan masalah optimasi cembung dalam waktu polinomial (benar) dengan metode Ellipsoid dan metode Interior Point.

Notasi O besar adalah untuk mengukur waktu berjalan algoritma dalam kasus terburuk. Namun, dalam praktiknya, kasus terburuk mungkin merupakan peristiwa yang sangat langka, itu sebabnya Anda tidak dapat menggunakannya untuk mengukur kinerja praktis.

— Rupei Xu
sumber

Saya pikir pertanyaan saya perlu dirumuskan ulang. SDP jelas merupakan masalah optimisasi cembung (mengoptimalkan fungsi cembung di atas himpunan cembung), tetapi pertanyaan saya secara khusus menunjuk ke bentuk standar optimasi cembung, di mana himpunan cembung didefinisikan oleh himpunan ketidaksetaraan "fungsi cembung negatif". Apakah Anda percaya bahwa jawaban untuk bentuk tertentu (optimasi cembung dalam bentuk standar dalam P) tidak diketahui?

— Sergey Dovgal

@SergeyDovgal Sejauh yang saya tahu, kita hanya bisa mengklaim pemrograman linear dapat dipecahkan dalam waktu polinomial. Untuk masalah optimisasi cembung lainnya, jika mereka bergantung pada jumlah akar kuadrat, orang tidak dapat mengklaim bahwa itu adalah waktu polinomial yang dapat dipecahkan.

— Rupei Xu