Bagaimana cara menghitung parameter regularisasi dalam regresi ridge yang diberikan derajat kebebasan dan matriks input?

Misalkan A menjadi matriks variabel independen dan B menjadi matriks dari nilai-nilai dependen. Dalam regresi ridge, kita mendefinisikan parameter sehingga: . Sekarang mari [usv] = svd (A) dan entri diagonal 's'. kita mendefinisikan derajat kebebasan (df) = . Regresi Ridge menyusut koefisien komponen varians rendah dan karenanya parameter mengontrol derajat kebebasan. Jadi untukn × 1 λ ß = ( A T A + λ I ) - 1 A T B d i = i t h Σ n i = 1 ( d i ) $n \times p$$n \times 1$$\lambda$$\beta=(A^\mathrm{T}A+\lambda I)^{-1}A^\mathrm{T}B$$d_{i}=i^{th}$ λλ=$\sum_{i=1}^{n} \frac{(d_{i})^2}{(d_{i})^2+\lambda}$$\lambda$$\lambda=0$, yang merupakan kasus regresi normal, df = n, dan karenanya semua variabel independen akan dipertimbangkan. Masalah yang saya hadapi adalah menemukan nilai diberikan 'df' dan matriks 's'. Saya telah mencoba mengatur ulang persamaan di atas tetapi tidak mendapatkan solusi bentuk tertutup. Harap berikan petunjuk bermanfaat.$\lambda$

Algoritma Newton-Raphson / Fisher-scoring / Taylor-series akan cocok untuk ini.

Anda memiliki persamaan untuk dipecahkan untuk dengan turunan Anda kemudian mendapatkan: h ( λ ) = p ∑ i = 1 d 2 $\lambda$

$$h(\lambda)=\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda}-df=0$$ h(λ)≈h(λ(0))+(λ-λ(0))∂ $$\frac{\partial h}{\partial \lambda}=-\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda)^{2}}$$ $$h(\lambda)\approx h(\lambda^{(0)})+(\lambda-\lambda^{(0)})\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}=0$$

mengatur ulang untuk Anda dapatkan: Ini mengatur pencarian berulang. Untuk nilai awal awal, asumsikan dalam penjumlahan, maka Anda mendapatkan .λ = λ ( 0 ) - [ ∂ $\lambda$d 2 i =1λ(0)=p-d

$$\lambda=\lambda^{(0)}-\left[\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}\right]^{-1}h(\lambda^{(0)})$$ $d^{2}_{i}=1$$\lambda^{(0)}=\frac{p-df}{df}$

$$\lambda^{(j+1)}=\lambda^{(j)}+\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda^{(j)})^{2}}\right]^{-1}\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda^{(j)}}-df\right]$$

Ini "berjalan" ke arah yang benar (meningkatkan ketika penjumlahan terlalu besar, kurangi ketika terlalu kecil), dan biasanya hanya membutuhkan beberapa iterasi untuk menyelesaikannya. Lebih lanjut fungsinya adalah monoton (peningkatan / penurunan akan selalu mengurangi / menambah penjumlahan), sehingga akan menyatu secara unik (tidak ada maxima lokal).$\lambda$$\lambda$

Berikut adalah kode Matlab kecil berdasarkan rumus yang dibuktikan oleh probabilityislogic:

function [lamda] = calculate_labda(Xnormalised,df)
    [n,p] = size(Xnormalised);   

    %Finding SVD of data
    [u s v]=svd(Xnormalised);
    Di=diag(s);
    Dsq=Di.^2;

    %Newton-rapson method to solve for lamda
    lamdaPrev=(p-df)/df;
    lamdaCur=Inf;%random large value
    diff=lamdaCur-lamdaPrev;   
    threshold=eps(class(XstdArray));    
    while (diff>threshold)          
        numerator=(sum(Dsq ./ (Dsq+lamdaPrev))-df);        
        denominator=sum(Dsq./((Dsq+lamdaPrev).^2));        
        lamdaCur=lamdaPrev+(numerator/denominator);        
        diff=lamdaCur-lamdaPrev;        
        lamdaPrev=lamdaCur;        
    end
    lamda=lamdaCur;
end