Paket perangkat lunak untuk menyelesaikan regresi linier norma L-infinity

Apakah ada paket perangkat lunak untuk menyelesaikan regresi linier dengan tujuan meminimalkan norma L-infinity.

regression

— Fan Zhang
sumber

Ya, setiap paket pemrograman linier akan berfungsi. Itu membuat Anda memiliki banyak pilihan. :)

— kardinal

@ Cardinal Bagaimana Anda menyusun kembali ini sebagai program linier? Tidak jelas bagaimana melakukannya bahkan dalam kasus-kasus sepele (seperti dua titik data dan satu parameter): tidak ada kendala dan fungsi tujuan nonlinier.

— whuber

Frasa kunci : pendekatan Chebyshev. (Lebih banyak untuk diikuti. Idenya adalah untuk memperkenalkan variabel tambahan kemudian mengubah tujuan menjadi kendala.)

— kardinal

@ cardinal Maksud Anda yang ini: mathworld.wolfram.com/ChebyshevApproximationFormula.html Tampaknya cukup rumit.

— Fan Zhang

Yah, ini sedikit terkait, tetapi tidak berhubungan dengan masalah ini. Masalah Anda dapat diselesaikan dengan LP sederhana. Begitu saya bisa sampai ke komputer, saya akan mengirim jawaban.

— kardinal

Jawaban:

Jawaban singkat : Masalah Anda dapat dirumuskan sebagai program linier (LP), membuat Anda memilih solver LP favorit Anda untuk tugas itu. Untuk melihat cara menulis masalah sebagai LP, baca terus.

Masalah minimisasi ini sering disebut sebagai pendekatan Chebyshev .

Biarkan , dengan baris dilambangkan dengan dan . Kemudian kami berusaha untuk meminimalkan fungsi sehubungan dengan . Nyatakan nilai optimal dengan $\newcommand{\y}{\mathbf{y}}\newcommand{\X}{\mathbf{X}}\newcommand{\x}{\mathbf{x}}\newcommand{\b}{\mathbf{\beta}}\newcommand{\reals}{\mathbb{R}}\newcommand{\ones}{\mathbf{1}_n} \y = (y_i) \in \reals^n$ $\X \in \reals^{n \times p}$ $i$ $\x_i$ $\b \in \reals^p$ $f(\b) = \|\y - \X \b\|_\infty$ $\b$

f^{⋆} = f (β^{⋆}) = inf {f (β) : β \in R^{p}} .

$f^\star = f(\b^\star) = \inf \{f(\b): \b \in \reals^p \} \>.$

Kunci untuk menyusun kembali ini sebagai LP adalah menulis ulang masalah dalam bentuk epigraf . Tidaklah sulit meyakinkan diri sendiri bahwa, pada kenyataannya,

f^{⋆} = inf {t : f (β) \leq t, t \in R, β \in R^{p}} .

$f^\star = \inf\{t: f(\b) \leq t, \;t \in \reals, \;\b \in \reals^p \} \> .$

Sekarang, dengan menggunakan definisi fungsi , kita dapat menulis ulang sisi kanan di atas sebagai jadi kita melihat bahwa meminimalkan norm dalam pengaturan regresi sama dengan LP mana optimasi dilakukan lebih , dan menunjukkan vektor yang panjangnya . Saya meninggalkannya sebagai latihan (mudah) bagi pembaca untuk menyusun kembali LP di atas dalam bentuk standar. $f$

f^{⋆} = inf {t : - t \leq y_{i} - x_{i} β \leq t, t \in R, β \in R^{p}, 1 \leq i \leq n},

$f^\star = \inf\{t: -t \leq y_i - \x_i \b \leq t, \;t \in \reals, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$

ℓ_{\infty}

$\ell_\infty$

\begin{array}{ll} minimize & t \\ subject to & y - X β \leq t 1_{n} \\ y - X β \geq - t 1_{n}, \end{array}

$\begin{array}{ll} \text{minimize} & t \\ \text{subject to} & \y-\X \b \leq t\ones \\ & \y - \X \b \geq - t \ones \>, \\ \end{array}$

(β, t)

$(\b, t)$

1_{n}

$\ones$

n

$n$

Hubungan dengan versi (variasi total) dari regresi linier $\ell_1$

Sangat menarik untuk dicatat bahwa sesuatu yang sangat mirip dapat dilakukan dengan norma . Biarkan . Kemudian, argumen serupa membuat orang menyimpulkan bahwa sehingga LP yang sesuai adalah $\ell_1$ $g(\b) = \|\y - \X \b \|_1$

g^{⋆} = inf {t^{T} 1_{n} : - t_{i} \leq y_{i} - x_{i} β \leq t_{i}, t = (t_{i}) \in R^{n}, β \in R^{p}, 1 \leq i \leq n},

$\newcommand{\t}{\mathbf{t}} g^\star = \inf\{\t^T \ones : -t_i \leq y_i - \x_i \b \leq t_i, \;\t = (t_i) \in \reals^n, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$

\begin{array}{ll} minimize & t^{T} 1_{n} \\ subject to & y - X β \leq t \\ y - X β \geq - t . \end{array}

$\begin{array}{ll} \text{minimize} & \t^T \ones \\ \text{subject to} & \y-\X \b \leq \t \\ & \y - \X \b \geq - \t \>. \\ \end{array}$

Perhatikan di sini bahwa sekarang merupakan vektor dengan panjang alih-alih skalar, seperti pada kasus . $\t$ $n$ $\ell_\infty$

Kesamaan dalam dua masalah ini dan fakta bahwa keduanya dapat dicor sebagai piringan hitam, tentu saja, bukan kecelakaan. Kedua norma tersebut saling berkaitan karena keduanya merupakan norma ganda .

— kardinal
sumber

Bagaimana Anda menemukan ukuran presisi untuk parameter dan / atau prediksi? Saya bertanya karena pertanyaan terakhir berikut: Mathematica.stackexchange.com/questions/214226/… .

— JimB

Malab dapat melakukannya, menggunakan cvx. untuk mendapatkan cvx (gratis):

http://cvxr.com/cvx/download/

Dalam cvx, Anda akan menulis seperti ini:

cvx_begin
   variable x(n);
   minimize( norm(A*x-b,Inf) );
cvx_end

(lihat contoh halaman 12 manual )

Ada implementasi Python dari CVX (di sini ) tetapi perintahnya sedikit berbeda ...

— pengguna603
sumber

Jawaban @ kardinal dinyatakan dengan baik dan telah diterima, tetapi, demi menutup utas ini sepenuhnya, saya akan menawarkan yang berikut: Perpustakaan Angka IMSL berisi rutin untuk melakukan regresi norma L-infinity. Rutin tersedia dalam Fortran, C, Java, C # dan Python. Saya telah menggunakan versi C dan Python yang metodenya adalah panggilan lnorm_regress, yang juga mendukung regresi L_p umum , . $L_p$ $p >= 1$

Perhatikan bahwa ini adalah perpustakaan komersial tetapi versi Python gratis (seperti bir) untuk penggunaan non-komersial.

— Josh Hemann
sumber

Sayangnya, tautannya tidak berfungsi lagi. Bisakah Anda memperbaruinya?

— COOLSerdash