Pemrograman linier dengan batasan matriks

Gambaran

Anda mungkin ingin mencoba varian dari Alternating Directions Method of Multipliers (ADMM), yang ternyata sangat cepat menyatu untuk masalah tipe laso . Strateginya adalah merumuskan masalah dengan Lagrangian yang diperbesar dan kemudian melakukan pendakian gradien pada masalah ganda. Ini sangat baik untuk masalah teregulasi l1 karena bagian yang tidak mulus dari setiap iterasi metode memiliki solusi yang tepat Anda hanya dapat mengevaluasi elemen demi elemen, sedangkan bagian yang halus melibatkan penyelesaian sistem linear. $l_1$ $l^1$

Dalam posting ini kita

dapatkan formulasi ADMM keseluruhan untuk generalisasi masalah Anda,
dapatkan subproblem untuk setiap iterasi ADMM dan khususkan mereka untuk situasi Anda, dan kemudian
menyelidiki sistem linear yang dihasilkan bahwa kebutuhan untuk dipecahkan setiap iterasi, dan mengembangkan pemecah cepat (atau preconditioner) berdasarkan precomputing yang dekomposisi eigen (atau perkiraan peringkat rendah daripadanya) untuk dan . $M^TM$ $YY^T$
merangkum dengan beberapa kata penutup

Sebagian besar ide besar di sini tercakup dalam makalah ulasan yang luar biasa berikut,

Boyd, Stephen, dkk. "Optimalisasi terdistribusi dan pembelajaran statistik melalui metode pengganda arah bergantian." Yayasan dan Tren® dalam Pembelajaran Mesin 3.1 (2011): 1-122. http://www.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf

Sebelum masuk ke perincian, saya ingin mencatat bahwa ini adalah metode / jawaban algoritma bukan jawaban kode praktis yang ada - jika Anda ingin menggunakan metode ini, Anda perlu menggulung implementasi Anda sendiri.

Formulasi ADMM

Secara umum, misalkan Anda ingin menyelesaikan

\begin{aligned} min_{x} & \sum_{i} | x_{i} | \\ s.t. & A x = b \end{aligned} .

$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$

Masalah dalam posting asli termasuk dalam kategori ini setelah vektorisasi yang sesuai. (ini hanya pada prinsipnya - kita akan melihat bahwa vektorisasi tidak perlu dilakukan dalam praktik)

Anda bisa menyelesaikan masalah yang setara, yang memiliki bahasa Lagrangian

\begin{aligned} min_{x, z} & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} \\ s.t. & A z = b \\ & & x = z, \end{aligned}

$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$

\begin{aligned} L (x, z, λ, γ) = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} + λ^{T} (A z - b) + γ^{T} (x - z) \\ = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} \\ + \frac{α}{2} | | \frac{1}{α} γ | |^{2} + \frac{β}{2} | | \frac{1}{β} λ | |^{2} . \end{aligned}

$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$

Metode arah bolak-balik dari pengganda memecahkan masalah ganda, melalui kenaikan gradien pada variabel ganda, kecuali dengan proyeksi bolak-balik yang tidak tepat pada subproblem ganda. Yaitu, satu iterasi

max_{λ, γ} min_{x, z} L (x, z, λ, γ),

$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$

\begin{aligned} x^{k + 1} & = {a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) \\ z^{k + 1} & = {a r g m i n}_{z} L (x^{k + 1}, z, λ^{k}, γ^{k}) \\ γ^{k + 1} & = γ^{k} + α (x^{k + 1} - z^{k + 1}) \\ λ^{k + 1} & = λ^{k} + β (A z^{k + 1} - b) . \end{aligned}

$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$

Di bawah kondisi ringan tertentu pada parameter dan (dijelaskan dalam kertas Boyd & Parikh yang ditautkan di atas), metode ADMM akan menyatu dengan solusi yang sebenarnya. Tingkat konvergensi adalah linier, karena pada intinya metode kenaikan gradien. Seringkali dapat dipercepat menjadi superlinear dengan 1) mengubah parameter dan saat Anda menggunakan heuristik, atau 2) menggunakan akselerasi Nesterov. Untuk catatan tentang mengubah parameter penalti, lihat kertas survei Boyd, dan untuk menggunakan akselerasi Nesterov dengan ADMM, lihat kertas berikut, $\alpha$ $\beta$ $\alpha$ $\beta$

Goldstein, Tom, Brendan O'Donoghue, dan Simon Setzer. "Metode optimasi arah bolak-balik cepat." Laporan CAM (2012): 12-35. ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

Namun, bahkan jika keseluruhan tingkat konvergensi hanya linier, untuk masalah metode telah diamati untuk menemukan pola sparsity sangat cepat, dan kemudian bertemu lebih lambat pada nilai yang tepat. Karena menemukan pola sparsity adalah bagian tersulit, ini sangat kebetulan! Alasan tepatnya mengapa tampaknya menjadi bidang penelitian saat ini. Semua orang melihat pola sparsity berkumpul dengan cepat, tetapi tampaknya tidak ada yang tahu persis mengapa itu terjadi. Beberapa waktu yang lalu saya bertanya kepada Boyd dan Parikh tentang hal ini melalui email dan Parikh berpikir itu mungkin dijelaskan dengan menafsirkan metode ini dalam konteks sistem kontrol. Penjelasan heuristik lain dari fenomena ini ditemukan dalam lampiran makalah berikut, $l^1$

Goldstein, Tom, dan Stanley Osher. "Metode Bregman split untuk masalah yang diatur L1." Jurnal SIAM tentang Ilmu Pencitraan 2.2 (2009): 323-343. ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

Tentu saja sekarang kesulitannya terletak pada penyelesaian masalah pembaruan dan untuk situasi spesifik Anda. Karena Lagrangian adalah kuadrat dalam , subproblem pembaruan hanya membutuhkan penyelesaian sistem linear. The subproblem tampaknya sulit karena merupakan nondifferentiable, tapi ternyata ada sebuah formula yang tepat untuk solusi yang dapat diterapkan elemen dengan elemen! Kami sekarang mendiskusikan subproblem ini lebih terinci dan menentukannya untuk masalah di posting asli. $x$ $z$ $z$ $z$ $x$

Pengaturan untuk subproblem pembaruan (sistem linier) $z$

Untuk pembaruan , kami memiliki $z$

{a r g m i n}_{z} L (x_{k}, z, λ_{k}, γ_{k}) = {a r g m i n}_{z} \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} .

$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$

Khusus untuk masalah Anda, menjadi,

\begin{aligned} {a r g m i n}_{Z_{J}, Z_{B}} & \frac{α}{2} | | J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J} | |_{F r o}^{2} + \frac{α}{2} | | B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B} | |_{F r o}^{2} \\ + \frac{β}{2} | | M Z_{J} + Z_{B} Y - X + \frac{1}{α} Λ | |_{F r o}^{2}, \end{aligned}

$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$

di mana menunjukkan norma Frobenius (elementwise ). Ini adalah masalah minimisasi kuadratik, di mana kondisi optimalitas orde pertama dapat ditemukan dengan mengambil turunan sebagian dari tujuan sehubungan dengan dan dan mengaturnya ke nol. Ini adalah, $||\cdot||Fro$ $l_2$ $Z_J$ $Z_B$

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$

Seperti dicatat dalam komentar oleh poster asli Justin Solomon, sistem ini untuk simetris sehingga gradien konjugat adalah metode bebas-matriks yang ideal. Bagian selanjutnya membahas sistem ini dan bagaimana menyelesaikan / memprakondisikannya secara lebih rinci. $Z_J,Z_B$

Memecahkan pembaruan submasalah (solusi penetapan ambang analitik) $x$

Sekarang kita beralih ke subproblem , $x$

{a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) = {a r g m i n}_{x} \sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2}

$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$

Hal pertama yang harus dilihat adalah jumlah dapat dipecah elemen demi elemen,

\sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2} = \sum_{i} | x_{i} | + \frac{α}{2} \sum_{i} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2},

$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$

Jadi kita dapat memecahkan elemen masalah optimasi dengan elemen secara paralel, menghasilkan

x_{i}^{k + 1} = {a r g m i n}_{x_{i}} | x_{i} | + \frac{α}{2} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2} .

$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$

Bentuk umum persamaan ini adalah,

min_{s} | s | + \frac{α}{2} (s - t)^{2} .

$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$

Fungsi nilai absolut mencoba menarik titik optimal ke arah , sedangkan istilah kuadrat mencoba menarik titik optimal ke arah . solusi sebenarnya karena itu terletak di suatu tempat di segmen antara keduanya, dengan peningkatan cenderung untuk menarik titik optimal ke arah , dan mengurangi menarik titik optimal ke . $s=0$ $s=t$ $[0,t)$ $\alpha$ $t$ $\alpha$ $0$

Ini adalah fungsi cembung tetapi tidak dapat dibedakan dengan nol. Kondisi untuk titik minimum adalah bahwa subderivatif tujuan pada titik tersebut mengandung nol. Istilah kuadrat memiliki turunan , dan fungsi nilai absolut memiliki turunan untuk , subderivatif bernilai-set sebagai interval ketika , dan turunan untuk . Dengan demikian kita mendapatkan subderivatif untuk fungsi objektif keseluruhan, $\alpha(s-t)$ $-1$ $s < 0$ $[-1,1]$ $s=0$ $1$ $s > 0$

\partial_{s} (| s | + \frac{α}{2} (s - t)^{2}) = {\begin{cases} 1 + α (s - t) & s > 0 \\ [- 1, 1] + α t, & s = 0, \\ - 1 + α (s - t), & s < 0. \end{cases}

$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$

Dari sini kita melihat bahwa subderivatif tujuan pada berisi jika dan hanya jika , dalam hal ini adalah minimizer. Di sisi lain, jika bukan minimizer, maka kita dapat mengatur turunan bernilai tunggal sama dengan nol dan menyelesaikannya untuk minimizer. Melakukan ini menghasilkan, $s=0$ $0$ $|t| \le \frac{1}{\alpha}$ $s=0$ $s=0$

{a r g m i n}_{s} | s | + \frac{α}{2} (s - t)^{2} = {\begin{cases} t - \frac{1}{α}, & t > \frac{1}{α}, \\ 0, & | t | \leq \frac{1}{α}, \\ t + \frac{1}{α}, & t < - \frac{1}{α} \end{cases}

$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$

Mengkhususkan hasil ini lagi untuk masalah nyata yang kami coba pecahkan dalam pertanyaan awal di mana menghasilkan, Pembaruan untuk hanyalah $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$

J_{i j}^{k + 1} = {\begin{cases} Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} - \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} > \frac{1}{α}, \\ 0, & | Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} | \leq \frac{1}{α}, \\ Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} + \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} < - \frac{1}{α} . \end{cases}

$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$

B

$B$

B^{k + 1} = Z_{B} - \frac{1}{α} Γ_{B},

$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$

seperti dicatat oleh poster asli Justin Solomon dalam komentar. Secara keseluruhan, melakukan pembaruan untuk hanya membutuhkan perulangan melalui entri matriks Anda dan mengevaluasi formula di atas untuk setiap entri. $J,B$

Schur pelengkap untuk sistem $Z_J,Z_B$

Langkah iterasi yang paling mahal adalah menyelesaikan sistem,

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

Untuk itu, perlu beberapa upaya untuk membangun pemecah / pengkondisi yang baik untuk sistem ini. Pada bagian ini kami melakukannya dengan membuat vektor , membentuk komplemen Schur , melakukan beberapa manipulasi produk Krnoecker dan kemudian membatalkannya. Sistem komplemen Schur yang dihasilkan adalah persamaan Sylvester yang sedikit dimodifikasi .

Dalam apa yang mengikuti identitas berikut tentang vektorisasi dan produk Kronecker benar-benar penting:

$\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
$(A \otimes B)(C \otimes D) = AC \otimes BD$ ,
$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$ , dan
$(A \otimes B)^T = A^T \otimes B^T$ .

Identitas ini berlaku setiap kali ukuran matriks dan keterbalikan sedemikian rupa sehingga setiap sisi persamaan adalah ekspresi yang valid.

Bentuk vektor dari sistem adalah,

(α I + β [\begin{matrix} I \otimes M^{T} M & (Y \otimes M)^{T} \\ Y \otimes M & Y Y^{T} \otimes I \end{matrix}]) [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (α J + β M^{T} X + Γ_{J} - M^{T} Λ) \\ v e c (α B + β X Y^{T} + Γ_{B} - Λ Y^{T}) \end{matrix}],

$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$

atau,

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ β Y \otimes M & (α I + β Y Y^{T}) \otimes I \end{matrix}] [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) \end{matrix}],

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$

di mana dan adalah notasi kental untuk sisi kanan. Sekarang kita melakukan komplemen block-gaussian-eliminasi / Schur untuk menghilangkan blok kiri bawah dari matriks, dalam proses kondensasi produk Kronecker. Ini adalah, $F$ $G$

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ 0 & (α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} \end{matrix}] \dots \cdot [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) - β Y \otimes M (α I + β M^{T} M)^{- 1} v e c (F) \end{matrix}] .

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$

Unvectorizing, dua persamaan yang harus kita pecahkan secara berurutan adalah,

$Z_{B} (α I + β Y Y^{T}) - (β M (α I + β M^{T} M)^{- 1} M^{T}) Z_{B} (β Y Y^{T}) \dots = G - β M (α I + β M^{T} M)^{- 1} F Y^{T}$ $Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$
$(α I + β M^{T} M) Z_{J} = F - β M^{T} Z_{B} Y .$ $(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$

Solusi sistem komplemen Schur ketika adalah kuadrat, peringkat tinggi $Y,M$

Pada bagian ini kita memecahkan sistem komplemen Schur untuk (persamaan 1. di atas) dengan menggunakan SVD penuh yang sudah dikompilasi dari matriks dan menerapkan versi modifikasi dari algoritma Bartels-Stewart untuk Sylvester persamaan. Algoritma ini sedikit dimodifikasi dari versi standar untuk memperhitungkan ekstra pada istilah kedua, yang membuatnya tidak cukup dengan persamaan Sylvester. Setelah ditemukan melalui persamaan pertama, dapat ditemukan dari persamaan kedua dengan mudah. Persamaan kedua sepele untuk dipecahkan melalui metode apa pun yang Anda suka. $Z_B$ $YY^T, MM^T, M^TM$ $\beta YY^T$ $Z_B$ $Z_J$

Metode ini membutuhkan biaya dimuka untuk melakukan precompute dua SVD penuh sebelum proses ADMM dimulai, tetapi kemudian cepat untuk diterapkan dalam iterasi ADMM yang sebenarnya. Karena metode ini berkaitan dengan SVD penuh dari matriks kendala, itu sesuai ketika mereka dekat dengan kuadrat dan peringkat tinggi. Metode yang lebih rumit dengan menggunakan peringkat rendah SVD juga dimungkinkan, tetapi disajikan di bagian selanjutnya.

Metode ini berkembang sebagai berikut. Mari masing menunjukkan precomputed penuh singular nilai dekomposisi, dan memadatkan sisi kanan menjadi . Kemudian persamaan pertama menjadi, Mengalikan oleh faktor-faktor ortogonal untuk membersihkan sisi kiri dan kanan dan menetapkan sementara yang baru tidak diketahui , ini selanjutnya menjadi,

Q D Q^{T} = Y Y^{T}, W Σ W^{T} = M M^{T}, V T V^{T} = M^{T} M

$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$

H

$H$

Z_{B} Q (α I + D) Q^{T} - W β Σ (α I + Σ)^{- 1} Σ W^{T} Z_{B} Q D Q^{T} = H .

$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$

A = W^{T} Z_{B} Q

$A = W^T Z_B Q$

A (α I + D) - β Σ (α I + Σ)^{- 1} Σ A D = W H Q^{T} .

$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$

Sekarang kita dapat menemukan dengan menyelesaikan sistem diagonal , $A$

((α I + D) \otimes I + D \otimes β Σ (α I + Σ)^{- 1} Σ) v e c (A) = v e c (W H Q^{T}) .

$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$

Setelah menemukan , kita menghitung , dan mengetahui kita menyelesaikan persamaan kedua di atas untuk , yang sepele karena kita sudah memiliki dekomposisi nilai eigen untuk . $A$ $Z_B = W A Q^T$ $Z_B$ $Z_J$ $M^TM$

Biaya di muka menghitung dua dekomposisi nilai eigen pasti simetris positif dan , dan kemudian biaya per iterasi untuk penyelesaian lengkap didominasi oleh beberapa perkalian matriks-matriks, yang berada pada urutan yang sama dari besarnya seperti melakukan 1 subiterasi CG. Jika dekomposisi nilai eigen dimuka terlalu mahal, maka mereka dapat dihitung secara tidak tepat dengan, misalnya, mengakhiri iterasi Lanczos lebih awal dan menjaga vektor eigen terbesar. Kemudian metode ini dapat digunakan sebagai prasyarat yang baik untuk CG daripada sebagai pemecah langsung. $M^TM$ $YY^T$

Metode solusi ketika sangat persegi panjang atau memiliki perkiraan peringkat rendah $M,Y$

Sekarang kita mengalihkan perhatian kita untuk memecahkan atau ketika salah satu a) matriks input sangat persegi - artinya mereka memiliki lebih banyak baris daripada kolom atau sebaliknya - atau b) mereka memiliki perkiraan peringkat rendah. Derivasi di bawah ini melibatkan penggunaan ekstensif formula Woodbury, komplemen Schur, dan manipulasi serupa lainnya. $Z_J,Z_B$ $M,Y$

Kita mulai dengan sistem komplemen Schur kami,

(α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} .

$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$

Beberapa manipulasi mengubah sistem ini menjadi bentuk yang lebih simetris,

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I) v e c (Z_{B}) = (I \otimes (I + \frac{β}{α} M M^{T})) v e c (H) .

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$

Sekarang kita membawa perkiraan peringkat rendah. Misalkan menjadi perkiraan SVD yang dikurangi atau peringkat rendah dan ( adalah pengganti dan tidak bekas). Mengganti ini ke dalam sistem kami menghasilkan invers matriks berikut yang ingin kami terapkan,

Q D^{1 / 2} Q_{2}^{T} = Y W Σ^{1 / 2} V^{T} = M

$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$

Y

$Y$

M

$M$

Q_{2}

$Q_2$

(α I + β I \otimes W Σ W^{T} + β Y Y^{T} \otimes I)^{- 1} .

$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$

Karena matriks yang kita gunakan untuk membalikkan adalah pembaruan peringkat rendah untuk identitas, strategi logisnya adalah mencoba menggunakan rumus Woodbury,

(A + U C U^{T})^{- 1} = A^{- 1} - A^{- 1} U (C^{- 1} + U^{T} A^{- 1} U)^{- 1} U^{T} A^{- 1} .

$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$

Namun, beberapa kehati-hatian diperlukan karena potongan-potongan peringkat rendah dan tidak ortogonal. Jadi untuk menerapkan rumus Woodbury, kami mengumpulkan kedua pembaruan peringkat rendah menjadi satu pembaruan besar. Sambut dan menerapkan hasil rumus Woodbury, $I \otimes W$ $Y \otimes I$

{(\frac{1}{α} I + β [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] [\begin{matrix} I \otimes Σ \\ D \otimes Y \end{matrix}] [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}])}^{- 1} = α I - \frac{β}{α^{2}} [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] {[\begin{matrix} I \otimes (Σ^{- 1} + \frac{β}{α} I) & \frac{β}{α} Q \otimes W^{T} \\ \frac{β}{α} Q^{T} \otimes W & (D^{- 1} + \frac{β}{α} I) \otimes Y \end{matrix}]}^{- 1} [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}] .

$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$

Inti invers dapat dihitung dengan rumus invers 2x2,

{[\begin{matrix} A & B \\ B^{T} & C \end{matrix}]}^{- 1} = [\begin{matrix} (A - B C^{- 1} B^{T})^{- 1} & - A^{- 1} B (C - B^{T} A^{- 1} B)^{- 1} \\ - C^{- 1} B^{T} (A - B C^{- 1} B^{T})^{- 1} & (C - B^{T} A^{- 1} B)^{- 1} \end{matrix}] .

$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$

Posting ini sudah cukup panjang sehingga saya akan menyisihkan detail perhitungan yang panjang, tetapi hasil akhirnya adalah bahwa memasukkan submatrices yang diperlukan ke inversi blockwise dan mengalikan semuanya melalui menghasilkan bentuk eksplisit berikut untuk invers keseluruhan,

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I)^{- 1} = \frac{1}{α} I - \frac{β}{α^{2}} (t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$

di mana

\begin{aligned} t_{11} & = \frac{α}{β} I \otimes W l^{- 1} W^{T} \\ s_{11} & = (Q \otimes W l^{- 1}) D_{11} (Q^{T} \otimes l^{- 1} W^{T}) \\ t_{12} & = - \frac{α}{β} Q h^{- 1} Q^{T} \otimes W l^{- 1} W^{T} \\ s_{12} & = - (Q h^{- 1} \otimes W l^{- 1}) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ t_{21} & = t_{12} \\ s_{21} & = - (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes l^{- 1} W^{T}) \\ t_{22} & = \frac{α}{β} Q h^{- 1} Q^{T} \otimes I \\ s_{22} & = (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ D_{11} & = \frac{α}{β} {(h \otimes I - I \otimes l^{- 1})}^{- 1} \\ D_{22} & = \frac{α}{β} {(I \otimes l - h^{- 1} \otimes I)}^{- 1} \\ l & = \frac{α}{β} Σ^{- 1} + I \\ h & = \frac{α}{β} D^{- 1} + I . \end{aligned}

$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$

Dalam formulir ini, kita dapat menerapkan invers dan menemukan istilah per term melalui 8 sandwich multiplikasi matriks kiri dan kanan. Rumus umum untuk menerapkan jumlah produk Kronecker adalah, $Z_B$

((A_{1} \otimes B_{1}) + (A_{2} \otimes B_{2}) + \dots) v e c (C) = v e c (B_{1}^{T} C A_{1} + B_{2}^{T} C A_{2} + \dots) .

$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$

Perhatikan bahwa semua invers eksplisit yang kami hasilkan adalah diagonal, jadi tidak ada yang harus "diselesaikan".

Kode pemecah linear

Saya mengimplementasikan dua di Matlab. Tampaknya bekerja dengan baik. Kode solver ada di sini. $z_J,Z_B$

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

Skrip uji untuk memeriksa apakah solver berfungsi ada di sini. Ini juga menunjukkan dengan contoh bagaimana memanggil kode solver.

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

Komentar penutup

Metode tipe ADMM sangat cocok untuk masalah seperti ini, tetapi Anda harus menjalankan implementasi Anda sendiri. Struktur keseluruhan dari metode ini cukup sederhana sehingga implementasi tidak terlalu sulit dalam sesuatu seperti MATLAB.

Potongan yang hilang dari pos ini yang perlu ditentukan untuk sepenuhnya mendefinisikan metode untuk masalah Anda adalah pilihan parameter penalti . Untungnya metode ini umumnya cukup kuat asalkan parameter parameternya tidak gila. Makalah Boyd dan Parikh memiliki bagian tentang parameter penalti seperti referensi di dalamnya, tapi saya hanya akan bereksperimen dengan parameter sampai Anda mendapatkan tingkat konvergensi yang masuk akal. $\alpha,\beta$

The strategi pemecah disajikan sangat efektif jika matriks kendala yang baik) padat, squareish, dan peringkat tinggi, atau b) memiliki pendekatan yang baik rendah peringkat. Solver lain yang berguna yang bisa menjadi topik pekerjaan di masa depan akan menjadi pemecah dioptimalkan untuk kasus berikut - matriks kendala jarang dan squareish dan peringkat tinggi, tetapi terdapat preconditioner baik untuk . Ini akan menjadi kasus jika, misalnya, adalah seorang Laplacian yang didiskritkan. $Z_J,Z_B$ $M$ $\alpha I + MM^T$ $M$

— Nick Algeria
sumber

Menerapkan ini sekarang! Untuk memeriksa, penyelesaian matriks untuk dan harus simetris / pasti positif karena berasal dari kuadrat terkecil, kan? Ini secara empiris tampaknya benar :-). Jadi, apakah CG opsi yang lebih baik daripada GMRES?

Z_{B}

$Z_B$

Z_{J}

$Z_J$

— Justin Solomon

Juga, saya pikir pembaruan untuk B salah? Saya sedang mengerjakan ini secara lebih rinci, tetapi ingat B tidak muncul dalam fungsi energi saya (tidak istilah), jadi saya tidak yakin itu harus mengambil nilai dalam Apakah saya memikirkan hal yang salah ini? Terima kasih!

| B |

$|B|$

\pm (1 - 1 / α) .

$\pm (1-1/\alpha).$

— Justin Solomon

[errr, ]

B = Z_{B} - Γ_{B} / α

$B = Z_B-\Gamma_B/\alpha$

— Justin Solomon

Luar biasa! Setelah memasukkan formula saya sendiri untuk dan (mungkin dekat / setara dengan apa yang Anda posting tetapi ada yang tidak berfungsi), ini jauh mengungguli metode IRLS. Terima kasih!

J

$J$

B

$B$

— Justin Solomon

Kabar baik. Sangat menyenangkan untuk melihat ketika kontribusi di sini menghasilkan hasil nyata.

— Michael Grant

Anda mungkin ingin menggunakan metode bebas-matriks untuk pemrograman linier. Saya tidak tahu metode apa pun yang secara khusus diarahkan pada pemrograman linear, tetapi ada metode interior titik bebas-matriks untuk program kuadratik dan untuk program nonlinier umum. Casing program kuadrat sesuai persis dengan masalah Anda, di mana koefisien bentuk kuadrat semuanya nol. (Anda juga bisa menyesuaikan metode yang menggunakan penyelesaian linier yang tepat dengan struktur masalah Anda, tetapi implementasi semacam itu mungkin tidak sepadan, dan kurang praktis daripada menggunakan metode bebas-matriks.)

Saya tidak tahu ada paket optimasi komersial yang mengimplementasikan varian bebas-matriks metode titik interior. IPOPT seharusnya menerapkan metode titik interior bebas-matriks untuk pemrograman nonlinear, tapi saya belum bisa melacak panggilan API yang memungkinkan Anda untuk menggunakannya.

Selain CVX, Anda mungkin bisa menggunakan GAMS atau AMPL untuk memasukkan matriks sekali dan mengatur kendala Anda dalam bahasa pemodelan untuk menggunakan matriks itu. Namun, metode yang digunakan oleh solver backends ke CVX, GAMS, dan AMPL tidak menggunakan pemecah matriks bebas; semua akan memerlukan matriks koefisien penuh untuk program linier dalam bentuk standar, yang akan sangat besar (itu akan menjadi produk Kronecker dari matriks). Apa yang mungkin akan terjadi adalah bahwa Anda memasukkan program linier Anda dalam formulir di atas menggunakan bahasa pemodelan, dan kemudian bahasa pemodelan akan menerjemahkan data ke dalam bentuk yang dapat digunakan oleh backend solver. Formulir ini akan membutuhkan matriks besar, dan saya curiga Anda akan mengalami kesalahan yang sama (kecuali jika Anda menjalankan mesin dengan memori yang cukup).

— Geoff Oxberry
sumber

Sepertinya saya sudah mencoba semua hal yang benar! Saya awalnya bereksperimen dengan CVX dan gagal, jadi saya beralih ke IPOPT. Tetapi IPOPT mengalami masalah yang sama. Saya tidak menyadari bahwa ia memiliki opsi bebas-matriks, jadi saya akan melihat apakah saya dapat mengetahuinya.

— Justin Solomon

Saya tidak yakin apakah GAMS / AMPL akan membantu masalah saya. Saya senang membuat kode masalah dalam bentuk apa pun yang akan membantu pemecah melakukan hal yang benar, tetapi seperti yang Anda katakan di balik layar mengambil produk Kronecker tidak akan berhasil.

— Justin Solomon

Bisakah Anda membayar SVD yang disebutkan oleh Geoffrey Irving? Jika Anda bisa, saya akan mempertimbangkan pendekatan iteratively reweighted least square (IRLS) . Pendekatan ini akan menyelesaikan masalah dalam bentuk di mana adalah matriks berat.

\begin{array}{ll} minimize & \sum_{i j} W_{i j} J_{i j}^{2} \\ subject to & M J + B Y = X \end{array}

$\begin{array}{ll}\text{minimize}&\sum_{ij} W_{ij}J_{ij}^2\\\text{subject to}&MJ+BY=X\end{array}$

W

$W$

Iterasi dimulai dengan sebagai semua matriks; ini menghasilkan optimal . Iterasi dilanjutkan dengan mana adalah konstanta kecil yang mencegah pembagian dengan nol. Saya tidak sepenuhnya yakin tentang kriteria konvergensi, tetapi mungkin tautan Wikipedia yang saya tawarkan di atas dapat memberi Anda referensi. $W^{(0)}$ $J^{(0)}$

W_{i j}^{(k + 1)} = {| max {J_{i j}^{(k)}, ϵ} |}^{- 1}

$W_{ij}^{(k+1)}=\left|\max\{J_{ij}^{(k)},\epsilon\}\right|^{-1}$

ϵ

$\epsilon$

Anda juga dapat mempertimbangkan metode urutan pertama yang dihaluskan. TFOCS, yang saya tulis bersama, dapat menangani ini menggunakan solver "smoothed conic dual" (SCD), tetapi itu tidak akan semudah digunakan.

Jika Anda ingin mencoba metode titik interior tanpa matriks, bacalah karya Jacek Gondzio.

EDIT: hmm, mungkin itu kasus IRLS tidak akan dapat menggunakan SVD untuk menghitung solusi. Jika demikian saya akan kembali ke salah satu pilihan lain.

— Michael Grant
sumber

Saya tidak yakin apakah saya bisa menggunakan SVD di sini, tapi IRLS adalah ide bagus! Kecepatan tidak terlalu menjadi masalah seperti memori, dan memalukan saya menggunakan IRLS untuk penelitian terkait beberapa bulan yang lalu dan itu bekerja dengan baik (menendang diri saya karena tidak pernah mencoba ini sebelumnya!). Bahkan tanpa SVD untuk IRLS, harus dimungkinkan untuk melakukannya menggunakan pemecah linear seperti CG yang tidak memerlukan sistem lengkap. Bahkan, CG mungkin bisa dihentikan dengan kendala yang cukup longgar sebelum menyesuaikan seperti yang Anda sarankan. Juga melihat ke pendekatan ADMM, tapi saya kurang pengalaman dengan itu.

W_{i j}

$W_{ij}$

— Justin Solomon

Ya, ADMM juga akan bagus. Saya benar-benar menulis bagian yang menyarankan Anda menghilangkan Y sama sekali, tetapi saya kemudian melihat bahwa tidak persegi.

M

$M$

— Michael Grant

Menerapkan strategi IRLS - konvergen tetapi secara numerik tidak bekerja dengan baik karena sistem linier yang harus dipecahkannya tidak terkondisi berkat berbagai ; menggunakan GMRES untuk menyelesaikan sistem. Akan mencoba ADMM selanjutnya!

w

$w$

— Justin Solomon

Anda dapat mencoba menggunakan CVX , yang memungkinkan Anda untuk mengkodekannya persis seperti yang Anda tulis (yaitu, dengan sebagai matriks daripada vektor). Ini mungkin akan diselesaikan dengan menggunakan solver cembung yang lebih umum daripada LP solver, tetapi jika solver cembung berhasil maka saya kira Anda tidak akan keberatan. $X$

Kemungkinan lain: gunakan solver yang memungkinkan matriks kendala Anda disimpan sebagai matriks jarang. Ini masih akan membutuhkan lebih banyak memori daripada apa yang seharusnya Anda butuhkan, tetapi jauh lebih sedikit daripada jika Anda menyimpannya sebagai matriks padat. Di CVX, jika Anda menggunakan kronAnda mendapatkan matriks jarang, jadi akan sepele untuk mencoba ini.

— David Ketcheson
sumber

Jika Python akan lebih nyaman daripada MATLAB untuk alasan apa pun, maka ada juga cvxpy meskipun tidak cukup dipoles seperti cvx.

— k20

Kecurigaan saya adalah bahwa pendekatan ini akan bekerja secara dangkal, dan kemudian gagal setelah bahasa pemodelan CVX mengubah data input menjadi bentuk yang dapat digunakan oleh pemecah backend (yang akan menyelesaikan program linear, program kuadratik, program kerucut orde dua, program semidefinite, dan program geometris). Saya menjelaskan mengapa dalam jawaban saya. Backend Gurobi adalah solver LP terbaik (antara jenis lainnya), jadi menggunakan CVX dengan algoritma itu mungkin yang terbaik yang bisa Anda lakukan dalam hal implementasi, singkatnya memanggil CVX dari API bahasa yang dikompilasi.

— Geoff Oxberry

Seperti yang dikatakan Geoff, tidak ada lapisan pemodelan yang akan membantu Anda di sini. LP yang dihasilkan memiliki data yang diulang untuk setiap pemecah generik standar. Untuk menghindari hal ini, Anda harus menggunakan (mengembangkan) solver berbasis oracle, yaitu, solver yang pada dasarnya didasarkan pada pengembalian residu untuk nilai , dan / atau potongan yang cocok, dan kemudian bekerja dengan deskripsi itu sebagai gantinya.

M J + B Y - X

$MJ+BY-X$

J, Y

$J,Y$

— Johan Löfberg

Ya, saya benar-benar mengalami masalah yang disebutkan Geoff. Bahkan, saya menggunakan CVX untuk tebakan awal saya. Saya juga sudah mencoba menelepon Gurobi secara langsung, tetapi satu-satunya cara saya bisa berpikir untuk melakukannya adalah dengan melakukan masalah membuka gulungan yang sama.

— Justin Solomon

Saya pikir Anda harus memutar sendiri

— Johan Löfberg