Menerapkan regresi punggungan untuk sistem persamaan yang tidak ditentukan?

Ketika , masalah kuadrat terkecil yang memaksakan pembatasan bola pada nilai dapat ditulis sebagai untuk sistem yang ditentukan secara berlebihan. adalah norma Euclidean dari suatu vektor. $y = X\beta + e$ $\delta$ $\beta$

\begin{matrix} \min ‖ y - X β ‖_{2}^{2} \\ s . t . ‖ β ‖_{2}^{2} \leq δ^{2} \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$

‖ \cdot ‖_{2}

$\|\cdot\|_2$

Solusi yang sesuai untuk $\beta$ diberikan oleh

\hat{β} = {(X^{T} X + λ I)}^{- 1} X^{T} y,

$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$ yang dapat diturunkan dari metode pengali Lagrange (

λ

$\lambda$ adalah pengali):

L (β, λ) = ‖ y - X β ‖_{2}^{2} + λ (‖ β ‖_{2}^{2} - δ^{2})

$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$

Saya mengerti bahwa ada properti yang

{(X^{T} X + λ I)}^{- 1} X^{T} = X^{T} {(X X^{T} + λ I)}^{- 1} .

$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$ Sisi kanan menyerupai pseudo-invers dari matriks regressor

X

$X$ dalam kasus yang tidak ditentukan (dengan parameter regularisasi ditambahkan,

λ

$\lambda$ ). Apakah ini berarti bahwa ekspresi yang sama dapat digunakan untuk memperkirakan

β

$\beta$ untuk case yang tidak ditentukan? Apakah ada derivasi terpisah untuk ekspresi terkait dalam kasus yang tidak ditentukan, karena batasan pembatasan bola berlebihan dengan fungsi tujuan (norma minimum

β

$\beta$ ):

\begin{matrix} m i n . ‖ β ‖_{2} \\ s . t . X β = y . \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$

— hatmatrix
sumber

Dimulai dengan rumusan masalah regresi ridge sebagai

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

Anda dapat menulis masalahnya sebagai

$\min \| A\beta - b \|_{2}^{2}$

dimana

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

dan

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

Matriks memiliki rank kolom penuh karena bagian. Dengan demikian masalah kuadrat terkecil sebagai solusi yang unik $A$ $\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Menulis ini dalam bentuk dan , dan menyederhanakan banyak 0, kita dapatkan $X$ $y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Tidak ada dalam derivasi ini bergantung pada apakah memiliki lebih banyak baris atau kolom, atau bahkan pada apakah memiliki peringkat penuh. Formula ini berlaku untuk kasus yang tidak ditentukan. $X$ $X$

Ini adalah fakta aljabar bahwa untuk , $\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Jadi kami juga memiliki opsi untuk menggunakan

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Untuk menjawab pertanyaan spesifik Anda:

Ya, kedua rumus berfungsi untuk kasus yang tidak ditentukan serta kasus yang ditentukan lebih lanjut. Mereka juga bekerja jika kurang dari minimum jumlah baris dan kolom dari . Versi kedua dapat lebih efisien untuk masalah yang tidak ditentukan karena lebih kecil dari dalam kasus itu. $\mbox{rank}(X)$ $X$ $XX^{T}$ $X^{T}X$
Saya tidak mengetahui adanya penurunan versi alternatif dari rumus yang dimulai dengan beberapa masalah kuadrat terkecil teredam lainnya dan menggunakan persamaan normal. Dalam kasus apa pun Anda dapat menurunkannya secara langsung menggunakan sedikit aljabar.

Mungkin saja Anda memikirkan masalah regresi ridge dalam formulir

$\min \| \beta \|_{2}^{2}$

tunduk pada

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Namun, versi masalah regresi ridge ini hanya mengarah ke masalah kuadrat terkecil teredam yang sama . $\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$

— Brian Borchers
sumber

Patut dicatat apa yang terjadi dalam batas sebagai pergi ke 0 jika memiliki peringkat baris penuh atau peringkat kolom penuh. Jika memiliki peringkat kolom penuh, maka dalam batas, Anda mendapatkan pseudoinverse . Demikian pula, jika memiliki peringkat baris penuh, maka dalam batas Anda mendapatkan pseudoinverse . Jadi, ini berhasil seperti yang kita harapkan.

λ

$\lambda$

X

$X$

X

$X$

(X^{T} X)^{- 1} X^{T}

$(X^{T}X)^{-1}X^{T}$

X

$X$

X^{T} (X X^{T})^{- 1}

$X^{T}(XX^{T})^{-1}$

— Brian Borchers

Ini adalah jawaban yang luar biasa komprehensif dan derivasi dari array yang ditambah (ditambah aljabar yang saya lewatkan) sangat memuaskan. Saya tidak memikirkan masalah regresi ridge dalam bentuk yang Anda sajikan di bagian akhir, tetapi menarik untuk melihat bahwa itu mengarah ke fungsi tujuan yang sama. Terima kasih banyak!

— hatmatrix

Terima kasih. Saya akan memasukkan plug tak tahu malu di sini- Anda dapat menemukan ini (dan banyak materi terkait) di buku teks tentang estimasi parameter dan masalah terbalik yang saya tulis bersama dengan Rick Aster dan Cliff Thurber.

— Brian Borchers

Izinkan saya juga menambahkan bahwa sebenarnya menghitung invers matriks ini biasanya bukan cara terbaik untuk menggunakan rumus ini. Tergantung pada ukuran dan kemungkinan sparsity dari Anda mungkin akan lebih baik menggunakan skema berulang atau hanya menggunakan Cholesky faktorisasi matriks .

X

$X$

X^{T} X + λ I

$X^{T}X + \lambda I$

— Brian Borchers

Terima kasih atas saran Anda! Saya menghargai referensi ke buku Anda karena saya kesulitan menemukan buku teks pada materi ini. Ukuran data kami sebenarnya tidak terlalu besar (hanya bahwa kami mungkin harus menerapkan ini berkali-kali untuk memisahkan set data), jadi mungkin setuju dengan invers langsung, tetapi terima kasih atas petunjuk tambahan!

— hatmatrix