Membalikkan regresi ridge: diberikan matriks respons dan koefisien regresi, temukan prediktor yang sesuai

Pertimbangkan masalah regresi OLS standar $\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}$ : Saya memiliki matriks $\Y$ dan $\X$ dan saya ingin mencari $\B$ untuk meminimalkan

L = ‖ Y - X β ‖^{2} .

$L=\|\Y-\X\B\|^2.$ Solusinya diberikan oleh

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X)^{+} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y.$

Saya juga dapat menimbulkan masalah "terbalik": mengingat $\Y$ dan $\B^*$ , cari $\hat\X$ yang akan menghasilkan $\hat\B\approx \B^*$ , yaitu akan meminimalkan $\|\argmin_\B\{L\}-\B^*\|^2$ . Dengan kata lain, saya memiliki matriks respons $\Y$ dan vektor koefisien $\B^*$ dan saya ingin menemukan matriks prediktor yang akan menghasilkan koefisien yang mendekati $\B^*$ . Ini, tentu saja, juga merupakan masalah regresi OLS dengan solusi

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = Y β^{⊤} (β β^{⊤})^{+} .

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \Y\B^\top(\B\B^\top)^{+}.$

Pembaruan klarifikasi: Seperti yang dijelaskan oleh @ GeoMatt22 dalam jawabannya, jika $\Y$ adalah vektor (yaitu jika hanya ada satu variabel respons), maka $\hat \X$ akan menjadi peringkat satu, dan masalah kebalikannya secara besar-besaran belum ditentukan. Dalam kasus saya, $\Y$ sebenarnya adalah sebuah matriks (yaitu ada banyak variabel respon, ini adalah regresi multivariat ). Jadi $\X$ adalah $n\times p$ , $\Y$ adalah $n\times q$ dan $\B$ adalah $p\times q$ .

Saya tertarik untuk memecahkan masalah "terbalik" untuk regresi ridge. Yaitu, fungsi kerugian saya sekarang adalah

L = ‖ Y - X β ‖^{2} + μ ‖ β ‖^{2}

$L=\|\Y-\X\B\|^2+\mu\|\B\|^2$ dan solusinya adalah

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X + μ I)^{- 1} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\}=(\X^\top \X+\mu\mathbf I)^{-1}\X^\top \Y.$

Masalah "kebalikan" adalah menemukan

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = ?

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \;?$

Sekali lagi, saya memiliki matriks respons $\Y$ dan vektor koefisien $\B^*$ dan saya ingin menemukan matriks prediktor yang akan menghasilkan koefisien yang mendekati $\B^*$ .

Sebenarnya ada dua formulasi terkait:

Temukan $\hat\X$ diberikan $\Y$ dan $\B^*$ dan $\mu$ .
Temukan dan diberikan dan . $\hat\X$ $\hat \mu$ $\Y$ $\B^*$

Apakah keduanya memiliki solusi langsung?

Berikut adalah kutipan singkat Matlab untuk menggambarkan masalah:

% generate some data
n = 10; % number of samples
p = 20; % number of predictors
q = 30; % number of responses
Y = rand(n,q);
X = rand(n,p);
mu = 0;
I = eye(p);

% solve the forward problem: find beta given y,X,mu
betahat = pinv(X'*X + mu*I) * X'*Y;

% backward problem: find X given y,beta,mu
% this formula works correctly only when mu=0
Xhat =  Y*betahat'*pinv(betahat*betahat');

% verify if Xhat indeed yields betahat
betahathat = pinv(Xhat'*Xhat + mu*I)*Xhat'*Y;
max(abs(betahathat(:) - betahat(:)))

Kode ini menghasilkan nol jika mu=0tetapi tidak sebaliknya.

regression least-squares ridge-regression

— amuba kata Reinstate Monica
sumber

Karena dan diberikan, mereka tidak memengaruhi variasi dalam kerugian. Karenanya dalam (1) Anda masih melakukan OLS. (2) sama sederhananya, karena kerugian dapat dibuat kecil secara sewenang-wenang dengan mengambil negatif secara sewenang-wenang, dalam batas-batas segala kendala yang Anda bandingkan untuk memaksakannya. Itu mengurangi Anda untuk huruf (1).

B

$B$

μ

$\mu$

\hat{μ}

$\hat\mu$

— whuber

@whuber Terima kasih. Saya pikir saya tidak menjelaskannya dengan cukup jelas. Pertimbangkan (1). dan diberikan (sebut saja ), tetapi saya perlu menemukan yang akan menghasilkan koefisien regresi punggungan dekat dengan , dengan kata lain saya ingin menemukan meminimalkanSaya tidak mengerti mengapa ini OLS.

B

$B$

μ

$\mu$

B^{*}

$B^*$

X

$X$

B^{*}

$B^*$

X

$X$

‖ \underset{B}{argmin} {L_{r i d g e} (X, B)} - B^{*} ‖^{2} .

$\Big\|\operatorname*{argmin}_B\big\{ L_\mathrm{ridge}(X,B)\big\} - B^*\Big\|^2.$

— Amuba kata Reinstate Monica

Ini seperti saya memiliki dan saya ingin menemukan sehingga dekat dengan diberikan . Ini tidak sama dengan menemukan .

f (v, w)

$f(v,w)$

v

$v$

{argmin}_{w} f (v, w)

$\operatorname{argmin}_w f(v,w)$

w^{*}

$w^*$

{argmin}_{v} f (v, w^{*})

$\operatorname{argmin}_v f(v,w^*)$

— Amoeba berkata Reinstate Monica

Eksposisi dalam posting Anda membingungkan tentang hal itu, karena jelas Anda tidak benar-benar menggunakan sebagai fungsi kerugian. Bisakah Anda menguraikan secara spesifik masalah (1) dan (2) di pos?

L

$L$

— whuber

@ hxd1011 Banyak kolom di X biasanya disebut "regresi berganda", banyak kolom di Y biasanya disebut "regresi multivariat".

— Amuba kata Reinstate Monica

Sekarang pertanyaannya telah menyatu pada rumusan masalah bunga yang lebih tepat, saya telah menemukan solusi untuk kasus 1 (parameter ridge dikenal). Ini juga harus membantu untuk kasus 2 (bukan solusi analitis tepat, tetapi formula sederhana dan beberapa kendala).

Ringkasan: Tak satu pun dari dua formulasi masalah terbalik memiliki jawaban yang unik. Dalam kasus 2 , di mana parameter ridge tidak diketahui, ada banyak solusi , untuk $\mu\equiv\omega^2$ $X_\omega$ . Dalam kasus 1, di mana diberikan, ada sejumlah solusi terbatas untuk , karena ambiguitas dalam spektrum nilai singular. $\omega\in[0,\omega_\max]$ $\omega$ $X_\omega$

(Derivasinya agak panjang, jadi TL, DR: ada kode Matlab yang berfungsi di akhir.)

Kasus yang Tidak Ditentukan ("OLS")

Masalah ke depan adalah mana ,

min_{B} ‖ X B - Y ‖^{2}

$\min_B\|XB-Y\|^2$

X \in R^{n \times p}

$X\in\mathbb{R}^{n\times p}$

, dan

B \in R^{p \times q}

$B\in\mathbb{R}^{p\times q}$

Y \in R^{n \times q}

$Y\in\mathbb{R}^{n\times q}$ .

Berdasarkan pertanyaan diperbarui, kami akan menganggap , sehingga berada di bawah ditentukan diberikan dan . Seperti dalam pertanyaan, kita akan mengasumsikan solusi "default" (minimum -norm) mana adalah pseudoinverse dari $n<p<q$ $B$ $X$ $Y$ $L_2$

B = X^{+} Y

$B=X^+Y$

X^{+}

$X^+$

X

$X$ .

Dari dekomposisi nilai singular ( SVD ) , diberikan oleh * pseudoinverse dapat dihitung sebagai ** (* Ekspresi pertama menggunakan SVD lengkap, sedangkan ekspresi kedua menggunakan SVD tereduksi. ** Untuk kesederhanaan saya menganggap memiliki peringkat penuh, yaitu ada.) $X$

X = U S V^{T} = U S_{0} V_{0}^{T}

$X=USV^T=US_0V_0^T$

X^{+} = V S^{+} U^{T} = V_{0} S_{0}^{- 1} U^{T}

$X^+=VS^+U^T=V_0S_0^{-1}U^T$

X

$X$

S_{0}^{- 1}

$S_0^{-1}$

Jadi masalah ke depan memiliki solusi Untuk referensi di masa mendatang, saya perhatikan bahwa

B \equiv X^{+} Y = (V_{0} S_{0}^{- 1} U^{T}) Y

$B\equiv X^+Y=\left(V_0S_0^{-1}U^T\right)Y$

, di mana

adalah vektor nilai-nilai singular.

S_{0} = d i a g (σ_{0})

$S_0=\mathrm{diag}(\sigma_0)$

σ_{0} > 0

$\sigma_0>0$

Dalam masalah terbalik, kita diberi dan $Y$ $B$ . Kita tahu bahwa berasal dari proses di atas, tapi kita tidak tahu . Tugasnya adalah menentukan sesuai . $B$ $X$ $X$

Seperti dicatat dalam pertanyaan yang diperbarui, dalam hal ini kita dapat memulihkan menggunakan dasarnya pendekatan yang sama, yaitu $X$ sekarang menggunakan pseudoinverse dari .

X_{0} = Y B^{+}

$X_0=YB^+$

B

$B$

Over-ditentukan Case (Penaksir Ridge)

Dalam kasus "OLS", masalah yang belum ditentukan diselesaikan dengan memilih solusi norma minimum , yaitu solusi "unik" kami diatur secara implisit .

Daripada memilih solusi norma minimum , di sini kami memperkenalkan parameter untuk mengontrol "seberapa kecil" norma tersebut, yaitu kami menggunakan regresi ridge . $\omega$

Dalam hal ini, kami memiliki serangkaian masalah ke depan untuk , , yang diberikan oleh Mengumpulkan kiri dan kanan yang berbeda vektor sisi tangan ke $\beta_k$ $k=1,\ldots,q$

min_{β} ‖ X β - y_{k} ‖^{2} + ω^{2} ‖ β ‖^{2}

$\min_\beta\|X\beta-y_k\|^2+\omega^2\|\beta\|^2$

koleksi ini masalah dapat dikurangi dengan "OLS" berikut masalah

di mana kami telah memperkenalkan matriks augmented

B_{ω} = [β_{1}, \dots, β_{k}], Y = [y_{1}, \dots, y_{k}]

$B_{\omega}=[\beta_1,\ldots,\beta_k] \quad,\quad Y=[y_1,\ldots,y_k]$

min_{B} ‖ X_{ω} B - Y ‖^{2}

$\min_B\|\mathsf{X}_\omega B-\mathsf{Y}\|^2$

X_{ω} = [\begin{matrix} X \\ ω I \end{matrix}], Y = [\begin{matrix} Y \\ 0 \end{matrix}]

$\mathsf{X}_\omega=\begin{bmatrix}X \\ \omega I\end{bmatrix} \quad , \quad \mathsf{Y}=\begin{bmatrix}Y \\ 0 \end{bmatrix}$

Dalam kasus yang ditentukan berlebihan ini, solusinya masih diberikan oleh pseudo-invers tetapi pseudo-invers sekarang berubah, menghasilkan * mana matriks "singularitas spektrum" yang baru memiliki (terbalik) diagonal **

B_{ω} = X^{+} Y

$B_\omega = \mathsf{X}^+\mathsf{Y}$

B_{ω} = (V_{0} S_{ω}^{- 2} U^{T}) Y

$B_\omega = \left(V_0S_\omega^{-2}U^T\right) Y$

(* Perhitungan agak terlibat yang diperlukan untuk menurunkan ini telah dihilangkan demi singkatnya. Ini mirip dengan penjelasan disiniuntuk kasus

. ** Di sini entri darivektor

diekspresikan dalam bentuk yang

σ_{ω}^{2} = \frac{σ_{0}^{2} + ω^{2}}{σ_{0}}

$\sigma_\omega^2 = \frac{\sigma_0^2+\omega^2}{\sigma_0}$

p \leq n

$p\leq n$

σ_{ω}

$\sigma_\omega$

σ_{0}

$\sigma_0$ vektor, di mana semua operasi entry-bijaksana.)

Sekarang dalam masalah ini kita masih dapat secara resmi memulihkan "solusi dasar" seperti

X_{ω} = Y B_{ω}^{+}

$X_\omega=YB_\omega^+$ tetapi ini bukan solusi yang benar lagi.

Namun, analoginya masih berpendapat bahwa "solusi" ini memiliki SVD dengan nilai singular

X_{ω} = U S_{ω}^{2} V_{0}^{T}

$X_\omega=US_\omega^2V_0^T$

σ_{ω}^{2}

$\sigma_\omega^2$ diberikan di atas.

$\sigma_0$ $\sigma_\omega^2$ $\omega$

σ_{0} = \bar{σ} \pm Δ σ, \bar{σ} = \frac{1}{2} σ_{ω}^{2}, Δ σ = \sqrt{(\bar{σ} + ω) (\bar{σ} - ω)}

$\sigma_0=\bar{\sigma} \pm \Delta\sigma \quad , \quad \bar{\sigma} = \tfrac{1}{2}\sigma_\omega^2 \quad , \quad \Delta\sigma = \sqrt{\left(\bar{\sigma}+\omega\right)\left(\bar{\sigma}-\omega\right)}$

$X$ $\bar{\sigma}\pm\Delta\sigma$ sgn $+$ $-$ $\omega=0$ $+$ $\omega$ $\omega$ $-$

% Matlab demo of "Reverse Ridge Regression"
n = 3; p = 5; q = 8; w = 1*sqrt(1e+1); sgn = -1;
Y = rand(n,q); X = rand(n,p);
I = eye(p); Z = zeros(p,q);
err = @(a,b)norm(a(:)-b(:),Inf);

B = pinv([X;w*I])*[Y;Z];
Xhat0 = Y*pinv(B);
dBres0 = err( pinv([Xhat0;w*I])*[Y;Z] , B )

[Uw,Sw2,Vw0] = svd(Xhat0, 'econ');

sw2 = diag(Sw2); s0mid = sw2/2;
ds0 = sqrt(max( 0 , s0mid.^2 - w^2 ));
s0 = s0mid + sgn * ds0;
Xhat = Uw*diag(s0)*Vw0';

dBres = err( pinv([Xhat;w*I])*[Y;Z] , B )
dXerr = err( Xhat , X )
sigX = svd(X)', sigHat = [s0mid+ds0,s0mid-ds0]' % all there, but which sign?

$B$ $p$ $n$

$\omega$ $\omega$

ω \leq ω_{max} = {\bar{σ}}_{n} = min [\frac{1}{2} σ_{ω}^{2}]

$\omega \leq \omega_{\max} = \bar{\sigma}_n = \min[\tfrac{1}{2}\sigma_\omega^2]$

$\hat{X}$ $B$ $\sigma_0$ $\mathrm{SVD}[X]$

Xrnd=Uw*diag(s0mid+sign(randn(n,1)).*ds0)*Vw0'; % random signs
dBrnd=err(pinv([Xrnd;w*I])*[Y;Z],B) % B is always consistent ...
dXrnd=err(Xrnd,X) % ... even when X is not

— GeoMatt22
sumber

+11. Terima kasih banyak untuk semua upaya yang Anda lakukan untuk menjawab pertanyaan ini dan untuk semua diskusi yang kami lakukan. Ini sepertinya menjawab pertanyaan saya sepenuhnya. Saya merasa bahwa hanya menerima jawaban Anda tidak cukup dalam kasus ini; ini layak mendapatkan lebih dari dua upvotes yang dimiliki jawaban ini saat ini. Bersulang.

— Amoeba berkata Reinstate Monica

@amoeba terima kasih! Saya senang itu membantu. Saya pikir saya akan mengirim komentar pada jawaban whuber yang Anda tautkan bertanya apakah menurutnya itu sesuai dan / atau jika ada jawaban yang lebih baik untuk digunakan. (Catatan dia lebih suka diskusi SVD dengan ketentuan

p \leq n

$p\leq n$ , yaitu terlalu ditentukan

X

$X$ .)

— GeoMatt22

@ GeoMatt22 komentar saya pada pertanyaan asli mengatakan menggunakan pinvbukanlah hal yang baik, apakah Anda setuju?

— Haitao Du

@ hxd1011 Secara umum Anda (hampir) tidak pernah ingin secara eksplisit membalikkan matriks secara numerik, dan ini berlaku juga untuk pseudo-inverse. Dua alasan saya menggunakannya di sini adalah 1) konsistensi dengan persamaan matematika + kode demo amuba, dan 2) untuk kasus sistem yang tidak ditentukan, solusi default "slash" Matlab dapat berbeda dari yang pinv . Hampir semua case dalam kode saya dapat diganti dengan perintah \ atau / yang sesuai, yang umumnya lebih disukai. (Ini memungkinkan Matlab untuk memutuskan pemecah langsung paling efektif.)

— GeoMatt22

@hxd1011 to clarify on point 2 of my previous comment, from the link in your comment on the original question: "If the rank of A is less than the number of columns in A, then x = A\B is not necessarily the minimum norm solution. The more computationally expensive x = pinv(A)*B computes the minimum norm least-squares solution.".

— GeoMatt22