Ridge dihukum GLM menggunakan augmentasi baris?

Saya telah membaca bahwa regresi ridge dapat dicapai dengan hanya menambahkan baris data ke matriks data asli, di mana setiap baris dibangun menggunakan 0 untuk variabel dependen dan akar kuadrat dari atau nol untuk variabel independen. Satu baris tambahan kemudian ditambahkan untuk setiap variabel independen.$k$

Saya bertanya-tanya apakah mungkin untuk mendapatkan bukti untuk semua kasus, termasuk untuk regresi logistik atau GLM lainnya.

Regresi meminimalkan .$\sum_{i=1}^n (y_i-x_i^T\beta)^2+\lambda\sum_{j=1}^p\beta_j^2$

(Seringkali sebuah konstanta diperlukan, tetapi tidak menyusut. Dalam hal ini dimasukkan dalam dan prediktor - tetapi jika Anda tidak ingin mengecilkannya, Anda tidak memiliki baris yang sesuai untuk pengamatan semu. Atau jika Anda ingin mengecilkan itu, Anda jangan memiliki baris untuk itu. aku akan menulis seolah-olah itu tidak dihitung dalam , dan tidak menyusut, karena itu kasus yang lebih rumit. kasus lainnya adalah perubahan sepele dari ini .)$\beta$$p$

Kita dapat menulis istilah kedua sebagai -pseudo-observasi jika kita dapat menulis setiap "y" dan masing-masing vektor (x sesuai "x" sehingga( p + 1 $p$$(p+1)$

$(y_{n+j}-x_{n+j}^T\beta)^2=\lambda\beta_j^2\,,\quad j=1,\ldots,p$

Tetapi dengan inspeksi, cukup biarkan , biarkan dan biarkan semua lainnya (termasuk biasanya).$y_{n+j}=0$$x_{n+j,j}=\sqrt{\lambda}$$x_{n+j,k}=0$$x_{n+j,0}=0$

Kemudian

$(y_{n+j}-[x_{n+j,0}\beta_0+x_{n+j,1}\beta_1+x_{n+j,2}\beta_2+...+x_{n+j,p}\beta_p])^2=\lambda\beta_j^2$ .

Ini berfungsi untuk regresi linier. Itu tidak bekerja untuk regresi logistik, karena regresi logistik biasa tidak meminimalkan jumlah residu kuadrat.

[Regresi Ridge bukan satu-satunya hal yang dapat dilakukan melalui trik pengamatan semu - mereka muncul dalam sejumlah konteks lain]

Menggeneralisasi resep ini ke GLM memang tidak sulit karena GLM biasanya cocok digunakan dengan kuadrat terkecil yang berulang secara berulang . Oleh karena itu, dalam setiap iterasi seseorang dapat menggantikan langkah kuadrat terkecil tertimbang reguler dengan punggungan dihukum kuadrat terkecil kuadrat langkah untuk mendapatkan punggungan yang dihukum GLM. Faktanya, dalam kombinasi dengan penalti ridge adaptif resep ini digunakan untuk menyesuaikan L0 GLM yang dihukum (alias subset terbaik, yaitu GLMs di mana jumlah total koefisien bukan nol dihukum). Ini telah diterapkan misalnya dalam paket l0ara , lihat makalah ini dan ini untuk detailnya.

Perlu dicatat juga bahwa cara tercepat untuk menyelesaikan regresi ridge biasa adalah bentuk tertutup

lmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  solve(crossprod(X) + diag(lambdas), crossprod(X, y))[, 1]
}

untuk kasus di mana n>=p, atau menggunakan

lmridge_solve_largep = function (X, Y, lambda) (t(X) %*% solve(tcrossprod(X)+lambda*diag(nrow(X)), Y))[,1]

kapan p>ndan untuk model tanpa intersep.

Ini lebih cepat daripada menggunakan resep augmentasi baris , yaitu melakukan

lmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  qr.solve(rbind(X, diag(sqrt(lambdas))), c(y, rep(0, ncol(X))))
}

Jika Anda akan membutuhkan kendala nonnegativitas pada koefisien yang dipasang Anda maka Anda bisa melakukannya

library(nnls)

nnlmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x
}

yang kemudian memberikan hasil yang sedikit lebih akurat daripada

nnlmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=rbind(X,diag(sqrt(lambdas))), b=c(Y,rep(0,ncol(X))))$x 
}

(dan sebenarnya hanya solusinya nnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x yang benar).

Saya belum menemukan bagaimana kasus yang dibatasi nonnegativitas dapat dioptimalkan lebih lanjut untuk p > nkasus ini - beri tahu saya jika ada yang tahu cara melakukan ini ... [ lmridge_nnls_largep = function (X, Y, lambda) t(X) %*% nnls(A=tcrossprod(X)+lambda*diag(nrow(X)), b=Y)$xtidak berfungsi]