Memecahkan masalah kuadrat terkecil dengan batasan linear dalam Python

Saya harus menyelesaikannya

\begin{aligned} min_{x} ‖ A x - b ‖_{2}^{2}, \\ s . t . & \sum_{i} x_{i} = 1, \\ x_{i} \geq 0, \forall i . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^2_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Saya pikir ini adalah masalah kuadrat yang harus dipecahkan dengan CVXOPT , tapi saya tidak bisa mengatasinya.

— untsten
sumber

Saya harap pertanyaan ini tidak terlalu spesifik untuk compsci.

— tillsten

Geoff Oxberry: Hanya ingin tahu, tetapi mengapa Anda mengedit bagian linier? Saya pikir itu adalah bagian yang cukup impoten dari deskripsi masalah, solusinya akan sangat berbeda untuk optimasi kuadrat terkecil non-linear.

— tillsten

Btw, suntingan lainnya bagus!

— tillsten

Anda dapat dengan mudah menyelesaikan ini dengan kode Anda sendiri dengan cara yang sangat efisien. Tidak perlu untuk CVXOPT.

— Royi

Jawaban:

Saya menulis jawaban lengkap (di bawah garis) sebelum menemukan CVXPY , yang (seperti CVX untuk MATLAB) melakukan semua hal sulit untuk Anda dan memiliki contoh yang sangat singkat yang hampir sama dengan milik Anda di sini . Anda hanya perlu mengganti jalur yang relevan dengan

 p = program(minimize(norm2(A*x-b)),[equals(sum(x),1),geq(x,0)])

Jawaban lama saya, melakukannya dengan cara yang lebih sulit dengan CVXOPT:

Mengikuti saran Geoff untuk mengatur fungsi objektif Anda

‖ A x - b ‖_{2}^{2} = ⟨ x^{T} A^{T} - b^{T}, A x - b ⟩ = x^{T} A^{T} A x - b^{T} A x - x^{T} A b - b^{T} b

$\|Ax-b\|^2_2 = \langle x^TA^T - b^T,Ax-b\rangle = x^TA^TAx - b^TAx - x^TAb - b^Tb$

Tentu saja, semua istilah adalah skalar, sehingga Anda dapat mengubah urutan yang ketiga dan menjatuhkan yang terakhir (karena itu tidak bergantung pada dan karena itu tidak akan mengubah mana memberi Anda minimum, meskipun Anda perlu menambahkannya kembali setelah menyelesaikan untuk mendapatkan nilai yang benar dari tujuan Anda) untuk mendapatkan Ini (termasuk kendala Anda) memiliki bentuk program kuadratik, seperti yang diberikan dalam dokumentasi CVXOPT di sini , di mana ada juga contoh kode untuk menyelesaikan masalah seperti itu. $x$ $x$

x^{T} A^{T} A x - b^{T} (A + A^{T}) x

$x^TA^TAx - b^T(A + A^T)x$

— David Ketcheson
sumber

Alih-alih masalah yang Anda selesaikan, selesaikan

\begin{aligned} min_{x} ‖ A x - b ‖_{2}^{2}, \\ s . t . & \sum_{i} x_{i} = 1, \\ x_{i} \geq 0, \forall i . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^{2}_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Masalah ini adalah masalah optimasi terdiferensiasi, cembung, nonlinier yang dapat diselesaikan di CVXOPT, IPOPT, atau pemecah optimasi cembung lainnya.

— Geoff Oxberry
sumber