Pemrograman Quadratic dan Lasso

Saya mencoba melakukan regresi laso, yang memiliki bentuk sebagai berikut:

Minimalkan dalam $w$ $(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

Diberikan , saya disarankan untuk mencari optimal dengan bantuan pemrograman kuadratik, yang mengambil bentuk berikut: $\lambda$ $w$

Minimalkan dalam , tunduk pada $x$ $\frac{1}{2} x'Qx + c'x$ $Ax \le b.$

Sekarang saya menyadari bahwa istilah harus diubah menjadi istilah kendala , yang agak mudah. Namun, saya entah bagaimana tidak melihat bagaimana saya bisa mentransfer term pertama dari persamaan pertama ke term pertama dari yang kedua. Saya tidak dapat menemukan banyak tentang itu di internet, jadi saya memutuskan untuk bertanya di sini. $\lambda$ $Ax \le b$

regression lasso quadratic-form

— spurra
sumber

Jawaban:

Ingatlah bahwa kami bekerja dengan sebagai variabel ' ' dalam bentuk standar, perluas dan kumpulkan istilah dalam $w$ $x$ $(Y - Xw)'(Y - Xw)$ dan di dan , dan konstanta. $w'\, [\,_{^{^\text{something}}}]\,w$ $w'$ $w$

Jelaskan mengapa Anda dapat mengabaikan konstanta.

Jelaskan mengapa Anda dapat menggabungkan istilah dan . $w'$ $w$

Seperti yang sudah diketahui oleh BananaCode dengan beberapa yang memimpin di sepanjang jalan, Anda bisa menulis dan atau lebih sederhana, Anda bisa menulis dan (karena dan memiliki argumen yang sama untuk ). $Q=2X'X$ $c=-2X'Y$ $Q=X'X$ $c=-X'Y$ $f(x)$ $kf(x)$ $k>0$

— Glen_b -Reinstate Monica
sumber

Konstanta dapat diabaikan, karena jika x_ adalah minimum untuk f (x), maka x_ + c adalah minimum dari f (x) + c, maka kita dapat mengabaikan konstanta c. Saya akan mengedit pertanyaan saya untuk menunjukkan di mana saya terjebak.

— spurra

BananaCode penjelasan Anda memiliki beberapa kekurangan. Jika dengan "adalah minimum ke

" yang Anda maksudkan "adalah argumen di mana

diminimalkan", Anda mengatakan sesuatu seperti "

adalah

dari

". Tapi kesimpulanmu ada yang salah. Jika Anda menambahkan

, Anda tidak menambahkan

ke argmin.

f (x)

$f(x)$

f (x)

$f(x)$

x^{*}

$x^*$

argmin

$\text{argmin}$

f

$f$

c

$c$

f

$f$

c

$c$

— Glen_b -Reinstate Monica

Lihat di mana saya menulis

jawaban saya? Apasesuatu yangAnda sekarang memiliki antara

dan

di bagian bawah dari pertanyaan Anda ??

w^{'} [something] w

$w'\, [\,\text{something}]\,w$

w^{'}

$w'$

w

$w$

— Glen_b -Reinstate Monica

Ya, maksud saya

adalah

dari

. Bisakah Anda memberi contoh di mana kesimpulan saya salah? The

adalah

matriks Saya mencoba untuk bentuk. Jika saya memperluas

Saya mendapatkan

x *

$x*$

a r g m i n

$argmin$

f

$f$

[s o m e t h i n g]

$[something]$

Q

$Q$

w^{'} (X^{'} X w - X^{'} Y)

$w'(X'Xw - X'Y)$

. Bagian pertama akan mewakili bentuk

matriks, namun saya tidak bisa menyingkirkan jabatan kedua

w^{'} X^{'} X w - w^{'} X^{'} Y

$w'X'Xw - w'X'Y$

Q

$Q$

- w^{'} X^{'} Y

$-w'X'Y$

— spurra

@ AD.Net Kendala sebagian besar tercakup dalam jawaban lainnya.

— Glen_b -Reinstate Monica

Saya ingin menambahkan bagaimana memecahkan mengubah kendala menjadi bentuk yang dapat digunakan untuk pemrograman kuadratik, karena tidak semudah yang saya pikir. Ini tidak mungkin untuk menemukan matriks nyata sehingga . $\sum |w_i| \le s$ $A$ $Aw \le s \leftrightarrow \sum |w_i| \le s$

Pendekatan yang saya gunakan adalah untuk membagi elemen dari vektor menjadi dan , sehingga . Jika , Anda memiliki dan , selain itu Anda memiliki dan $w_i$ $w$ $w_i^+$ $w_i^-$ $w_i = w_i^+ - w_i^-$ $w_i \ge 0$ $w_i^+ = w_i$ $w_i^- = 0$ $w_i^- = |w_i|$ . Atau dalam istilah yang lebih matematis, $w_i^+ = 0$ dan $w_i^+ = \frac{|w_i| + w_i}{2}$ Baik dan adalah angka non-negatif. Gagasan di balik pemisahan angka adalah bahwa Anda sekarang memiliki , secara efektif menghilangkan nilai absolut. $w_i^- = \frac{|w_i| - w_i}{2}.$ $w_i^-$ $w_i^+$ $|w_i| = w_i^+ + w_i^-$

Fungsi untuk mengoptimalkan berubah menjadi: , tunduk pada $\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$ $w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

Di mana dan diberikan seperti yang dinyatakan di atas oleh Glen_b $Q$ $c$

Ini perlu diubah menjadi bentuk yang dapat digunakan, yaitu kita perlu satu vektor. Ini dilakukan dengan cara berikut:

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

tunduk pada

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

Di mana adalah matriks unit dimensi, a -vektor dimensi yang hanya terdiri dari nilai dan a dimensi nol vektor. Babak pertama memastikan , kedua Sekarang sudah dalam bentuk yang dapat digunakan untuk menggunakan pemrograman kuadratik untuk mencari $I_D$ $D$ $s_D$ $D$ $s$ $0_D$ $2*D$ $|w_i| = w_i^+ + w_i^- \le s$ $w_i^+,w_i^- \ge 0$ dan , diberikan . Setelah selesai, parameter optimal Anda sehubungan dengan adalah . $w^+$ $w^-$ $s$ $s$ $w = w^+ - w^-$

Sumber dan bacaan lebih lanjut: Memecahkan masalah pemrograman kuadratik dengan kendala linear yang mengandung nilai absolut

— spurra
sumber

Misalkan kita telah menemukan vektor

dimensi-

optimal

. Apa yang memastikan bahwa

dan

sebenarnya adalah bagian positif dan negatif dari beberapa vektor

, yaitu posisi entri

mereka cocok?

2 D

$2D$

(w^{+}, w^{-})

$(w^+, w^-)$

w^{+}

$w^+$

w^{-}

$w^-$

w

$w$

0

$0$

— Myath

Matriks dan vektor dalam ekspresi akhir bisa lebih sederhana, dan sebenarnya lebih benar. Alih-alih [Id Id] [w + w−] '≤ Sd Anda bisa dengan sederhana [1 1 .... 1] [w + w-]' ≤ s. Ini secara harfiah setara dengan | wi | = ∑ (wi + + wi−) ≤ dtk.

— Marko