Definisi dan Konvergensi Kuadrat Terkecil yang Diterima Ulang secara berulang

Saya telah menggunakan iteratively reweighted least square (IRLS) untuk meminimalkan fungsi dari formulir berikut,

$J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right)$

di mana adalah jumlah instance , adalah perkiraan kuat yang saya inginkan, dan adalah fungsi penalti kuat yang cocok. Katakanlah itu cembung (meskipun tidak harus ketat) dan dapat dibedakan untuk saat ini. Sebuah contoh yang baik dari seperti adalah fungsi kerugian Huber . $N$ $x_i \in \mathbb{R}$ $m \in \mathbb{R}$ $\rho$ $\rho$

Apa yang saya lakukan adalah membedakan sehubungan dengan (dan memanipulasi) untuk mendapatkan, $J(m)$ $m$

$\frac{dJ}{dm}= \sum_{i=1}^{N} \frac{\rho'\left( \left|x_i-m\right|\right) }{\left|x_i-m\right|} \left( x_i-m \right)$

dan menyelesaikannya secara iteratif dengan menyetelnya sama dengan 0 dan menetapkan bobot pada iterasi ke (perhatikan bahwa singularitas yang dirasakan di benar-benar singularitas yang dapat dilepas dalam semua mungkin saya pedulikan). Lalu saya mendapatkan, $k$ $w_i(k) = \frac{\rho'\left( \left|x_i-m{(k)}\right|\right) }{\left|x_i-m{(k)}\right|}$ $x_i=m{(k)}$ $\rho$

$\sum_{i=1}^{N} w_i(k) \left( x_i-m{(k+1)} \right)=0$

dan saya pecahkan untuk memperoleh, $m(k+1) = \frac{\sum_{i=1}^{N} w_i(k) x_i}{ \sum_{i=1}^{N} w_i(k)}$ .

Saya ulangi algoritma titik tetap ini sampai "konvergensi". Saya akan mencatat bahwa jika Anda sampai ke titik tetap, Anda optimal, karena turunan Anda adalah 0 dan itu adalah fungsi cembung.

Saya punya dua pertanyaan tentang prosedur ini:

Apakah ini algoritma IRLS standar? Setelah membaca beberapa makalah tentang topik (dan mereka sangat tersebar dan tidak jelas tentang apa itu IRLS), ini adalah definisi algoritma yang paling konsisten yang dapat saya temukan. Saya dapat memposting makalah jika orang mau, tetapi saya sebenarnya tidak ingin bias siapa pun di sini. Tentu saja, Anda dapat menggeneralisasi teknik dasar ini ke banyak jenis masalah lain yang melibatkan vektor $x_i$ dan argumen selain $\left|x_i-m{(k)}\right|$ , memberikan argumen adalah norma dari fungsi affine dari parameter Anda. Setiap bantuan atau wawasan akan sangat bagus dalam hal ini.
Konvergensi tampaknya berhasil dalam praktiknya, tetapi saya memiliki beberapa kekhawatiran tentangnya. Saya belum melihat buktinya. Setelah beberapa simulasi Matlab sederhana saya melihat bahwa satu iterasi dari ini bukan pemetaan kontraksi (saya menghasilkan dua contoh acak dari dan menghitung dan melihat bahwa ini kadang-kadang lebih besar dari 1). Juga pemetaan yang didefinisikan oleh beberapa iterasi berurutan tidak sepenuhnya pemetaan kontraksi, tetapi probabilitas konstanta Lipschitz berada di atas 1 menjadi sangat rendah. Jadi apakah ada dugaan pemetaan kontraksi dalam probabilitas ? Apa mesin yang saya gunakan untuk membuktikan bahwa ini bertemu? Apakah itu bahkan bertemu? $m$ $\frac{\left|m_1(k+1) - m_2(k+1)\right|}{\left|m_1(k)-m_2(k)\right|}$

Bimbingan apa pun sangat membantu.

Sunting: Saya suka kertas pada IRLS untuk pemulihan yang jarang / penginderaan tekan oleh Daubechies et al. 2008 "Minimalisasi Ulang Kuadrat Kuadrat Minimal untuk Pemulihan Jarang" pada arXiv. Tetapi tampaknya sebagian besar fokus pada bobot untuk masalah nonconvex. Kasus saya jauh lebih sederhana.

— Chris A.
sumber

Melihat halaman wiki di IRWLS Saya perjuangan untuk perbedaan antara prosedur Anda menggambarkan dan IRWLS (mereka hanya menggunakan sebagai mereka khususnya fungsi). Bisakah Anda jelaskan dengan cara apa menurut Anda algoritma yang Anda usulkan berbeda dari IRWLS?

| y_{i} - x x_{i}^{'} β β |^{2}

$|y_i-\pmb x_i'\pmb\beta|^2$

ρ

$\rho$

— user603

Saya tidak pernah menyatakan bahwa itu berbeda, dan jika saya menyiratkannya, saya tidak bermaksud demikian.

— Chris A.

Adapun pertanyaan pertama Anda, seseorang harus mendefinisikan "standar", atau mengakui bahwa "model kanonik" telah secara bertahap ditetapkan. Seperti komentar yang ditunjukkan, tampaknya setidaknya cara Anda menggunakan IRWLS agak standar.

Adapun pertanyaan kedua Anda, "pemetaan kontraksi dalam probabilitas" dapat dihubungkan (namun secara informal) dengan konvergensi "algoritma stokastik rekursif". Dari apa yang saya baca, ada literatur besar tentang masalah ini terutama di bidang Teknik. Dalam Ekonomi, kami menggunakan sedikit saja, terutama karya mani Lennart Ljung - makalah pertama adalah Ljung (1977) - yang menunjukkan bahwa konvergensi (atau tidak) dari algoritma stokastik rekursif dapat ditentukan oleh stabilitas (atau tidak) dari persamaan diferensial biasa yang terkait.

(Berikut ini telah kembali bekerja setelah diskusi bermanfaat dengan OP di komentar)

Konvergensi

Saya akan menggunakan sebagai referensi Sabre Elaydi "An Introduction to Difference Equations", 2005, 3d ed. Analisis ini tergantung pada beberapa sampel data yang diberikan, sehingga diperlakukan sebagai tetap. $x's$

Kondisi orde pertama untuk minimalisasi fungsi objektif, dipandang sebagai fungsi rekursif dalam , $m$

m (k + 1) = \sum_{i = 1}^{N} v_{i} [m (k)] x_{i}, v_{i} [m (k)] \equiv \frac{w_{i} [m (k)]}{\sum_{i = 1}^{N} w_{i} [m (k)]} [1]

$m(k+1) = \sum_{i=1}^{N} v_i[m(k)] x_i, \;\; v_i[m(k)] \equiv \frac{w_i[m(k)]}{ \sum_{i=1}^{N} w_i[m(k)]} \qquad [1]$

memiliki titik tetap (argumen fungsi objektif). Oleh Teorema 1.13 hal 27-28 dari Elaydi, jika turunan pertama sehubungan dengan dari RHS , dievaluasi pada titik tetap , menyatakannya , lebih kecil dari kesatuan dalam nilai absolut, maka adalah stabil asimtotik (AS). Terlebih lagi oleh Theorem 4.3 hal.179 kita memiliki bahwa ini juga menyiratkan bahwa titik tetap adalah seragam AS (UAS). "Asymptotically stable" berarti bahwa untuk beberapa rentang nilai di sekitar titik tetap, sebuah lingkungan , tidak harus berukuran kecil, titik tetapnya menarik $m$ $[1]$ $m^*$ $A'(m^*)$ $m^*$
$(m^* \pm \gamma)$ , dan jika algoritme memberikan nilai di lingkungan ini, ia akan bertemu. Properti menjadi "seragam", berarti bahwa batas lingkungan ini, dan karenanya ukurannya, tidak tergantung pada nilai awal algoritma. Titik tetap menjadi UAS global , jika . Jadi dalam kasus kami, jika kami membuktikannya $\gamma = \infty$

| A^{'} (m^{*}) | \equiv | \sum_{i = 1}^{N} \frac{\partial v_{i} (m^{*})}{\partial m} x_{i} | < 1 [2]

$|A'(m^*)|\equiv \left|\sum_{i=1}^{N} \frac{\partial v_i(m^*)}{\partial m}x_i\right| <1 \qquad [2]$

kami telah membuktikan properti UAS, tetapi tanpa konvergensi global. Kemudian kita dapat mencoba untuk menetapkan bahwa lingkungan tarik-menarik sebenarnya adalah bilangan real keseluruhan yang diperluas, atau, bahwa nilai awal spesifik yang digunakan OP seperti yang disebutkan dalam komentar (dan itu adalah standar dalam metodologi IRLS), yaitu sampel rata-rata dari 's, , selalu milik lingkungan atraksi titik tetap. $x$ $\bar x$

Kami menghitung turunan

\frac{\partial v_{i} (m^{*})}{\partial m} = \frac{\frac{\partial w_{i} (m^{*})}{\partial m} \sum_{i = 1}^{N} w_{i} (m^{*}) - w_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}}{{(\sum_{i = 1}^{N} w_{i} (m^{*}))}^{2}}

$\frac{\partial v_i(m^*)}{\partial m} = \frac {\frac{\partial w_i(m^*)}{\partial m}\sum_{i=1}^{N} w_i(m^*)-w_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}}{\left(\sum_{i=1}^{N} w_i(m^*)\right)^2}$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\frac{\partial w_{i} (m^{*})}{\partial m} - v_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\frac{\partial w_i(m^*)}{\partial m}-v_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right]$ Kemudian

A^{'} (m^{*}) = \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) \sum_{i = 1}^{N} v_{i} (m^{*}) x_{i}]

$A'(m^*) = \frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)\sum_{i=1}^{N}v_i(m^*)x_i\right]$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) m^{*}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)m^*\right]$

dan

| A^{'} (m^{*}) | < 1 \Rightarrow | \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [3]

$|A'(m^*)| <1 \Rightarrow \left|\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}(x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [3]$

kita punya

\begin{aligned} \frac{\partial w_{i} (m^{*})}{\partial m} = & \frac{- ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} | x_{i} - m^{*} | + \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{3}} ρ^{'} (| x_{i} - m^{*} |) - ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [\frac{ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |} - ρ^{″} (| x_{i} - m^{*} |)] \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] \end{aligned}

$\begin{align}\frac{\partial w_i(m^*)}{\partial m} = &\frac{-\rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|}|x_i-m^*|+\frac {x_i-m^*}{|x_i-m^*|}\rho'(|x_i-m^*|)}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^3}\rho'(|x_i-m^*|) - \rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[\frac {\rho'(|x_i-m^*|)}{|x_i-m^*|}-\rho''(|x_i-m^*|)\right]\\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right] \end{align}$

Memasukkan ini ke kita miliki $[3]$

| \sum_{i = 1}^{N} \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) |

$\left|\sum_{i=1}^{N}\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right](x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right|$

\Rightarrow | \sum_{i = 1}^{N} w_{i} (m^{*}) - \sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [4]

$\Rightarrow \left|\sum_{i=1}^{N}w_i(m^*)-\sum_{i=1}^{N}\rho''(|x_i-m^*|)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [4]$

Ini adalah kondisi yang harus dipenuhi untuk titik tetap menjadi UAS. Karena dalam kasus kami fungsi penalti adalah cembung, jumlah yang terlibat adalah positif. Jadi kondisi setara dengan $[4]$

\sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) < 2 \sum_{i = 1}^{N} w_{i} (m^{*}) [5]

$\sum_{i=1}^{N}\rho''(|x_i-m^*|) < 2\sum_{i=1}^{N}w_i(m^*) \qquad [5]$

Jika adalah fungsi kerugian Hubert, maka kita memiliki cabang kuadratik ( ) dan linear ( ), $\rho(|x_i-m|)$ $q$ $l$

ρ (| x_{i} - m |) = {\begin{cases} (1 / 2) | x_{i} - m |^{2} | x_{i} - m | \leq δ \\ δ (| x_{i} - m | - δ / 2) | x_{i} - m | > δ \end{cases}

$\rho(|x_i-m|)=\cases{ (1/2)|x_i- m|^2 \qquad\;\;\;\; |x_i-m|\leq \delta \\ \\ \delta\big(|x_i-m|-\delta/2\big) \qquad |x_i-m|> \delta}$

dan

ρ^{'} (| x_{i} - m |) = {\begin{cases} | x_{i} - m | | x_{i} - m | \leq δ \\ δ | x_{i} - m | > δ \end{cases}

$\rho'(|x_i-m|)=\cases{ |x_i- m| \qquad |x_i-m|\leq \delta \\ \\ \delta \qquad \qquad \;\;\;\; |x_i-m|> \delta}$

ρ^{″} (| x_{i} - m |) = {\begin{cases} 1 | x_{i} - m | \leq δ \\ 0 | x_{i} - m | > δ \end{cases}

$\rho''(|x_i-m|)=\cases{ 1\qquad |x_i-m|\leq \delta \\ \\ 0 \qquad |x_i-m|> \delta}$

{\begin{cases} w_{i, q} (m) = 1 | x_{i} - m | \leq δ \\ w_{i, l} (m) = \frac{δ}{| x_{i} - m |} < 1 | x_{i} - m | > δ \end{cases}

$\cases{ w_{i,q}(m) =1\qquad \qquad \qquad |x_i-m|\leq \delta \\ \\ w_{i,l}(m) =\frac {\delta}{|x_i-m|} <1 \qquad |x_i-m|> \delta}$

Karena kita tidak tahu berapa banyak kami di cabang kuadratik dan berapa banyak dalam linier, kami menguraikan kondisi sebagai ( ) $|x_i-m^*|$ $[5]$ $N_q + N_l = N$

\sum_{i = 1}^{N_{q}} ρ_{q}^{″} + \sum_{i = 1}^{N_{l}} ρ_{l}^{″} < 2 [\sum_{i = 1}^{N_{q}} w_{i, q} + \sum_{i = 1}^{N_{l}} w_{i, l}]

$\sum_{i=1}^{N_q}\rho_q''+\sum_{i=1}^{N_l}\rho_l'' < 2\left[\sum_{i=1}^{N_q}w_{i,q} +\sum_{i=1}^{N_l}w_{i,l}\right]$

\Rightarrow N_{q} + 0 < 2 [N_{q} + \sum_{i = 1}^{N_{l}} w_{i, l}] \Rightarrow 0 < N_{q} + 2 \sum_{i = 1}^{N_{l}} w_{i, l}

$\Rightarrow N_q + 0 < 2\left[N_q +\sum_{i=1}^{N_l}w_{i,l}\right] \Rightarrow 0 < N_q+2\sum_{i=1}^{N_l}w_{i,l}$

yang berlaku. Jadi untuk fungsi loss Huber titik tetap dari algoritma secara seragam asymptotically stable, terlepas dari 's. Kami mencatat bahwa turunan pertama lebih kecil dari satu dalam nilai absolut untuk setiap , bukan hanya titik tetap. $x$ $m$

Apa yang harus kita lakukan sekarang adalah membuktikan bahwa properti UAS juga bersifat global, atau jika maka termasuk dalam lingkungan atraksi . $m(0) = \bar x$ $m(0)$ $m^*$

— Alecos Papadopoulos
sumber

Terima kasih atas tanggapannya. Beri saya waktu untuk menganalisis jawaban ini.

— Chris A.

Pasti. Lagi pula, pertanyaannya menunggu 20 bulan.

— Alecos Papadopoulos

Ya, saya teringat masalah dan memutuskan untuk memberikan hadiah. :)

— Chris A.

Beruntung saya. Saya tidak ada di sana 20 bulan yang lalu - saya akan menjawab pertanyaan ini, hadiah atau tidak.

— Alecos Papadopoulos

Terima kasih banyak atas tanggapan ini. Sepertinya, sejauh ini, Anda telah mendapatkan hadiah. BTW, pengindeksan Anda pada turunan dari wrt aneh. Tidak bisakah penjumlahan pada baris kedua ini menggunakan variabel lain, seperti ?

v_{i}

$v_i$

m

$m$

j

$j$

— Chris A.