Apakah L2-normalisasi regresi ridge menghukum intersep? Jika tidak, bagaimana cara mengatasi turunannya?

Saya baru mengenal ML. Saya diberitahu bahwa L2-normalisasi regresi ridge tidak menghukum intersepsi . Seperti dalam fungsi biaya: Istilah normalisasi L2 \ lambda \ sum_ { j = 1} ^ {n} {\ theta_ {j} ^ {2}} hanya jumlah dari j = 1 ke n , bukan dari j = 0 ke n . Saya juga membaca itu:$\theta_{0}$

$$\nabla_{\theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_{\vec \theta}(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$j=1$$n$$j=0$$n$

dalam kebanyakan kasus (semua kasus?), Anda lebih baik tidak mengatur $\theta_{0}$ , karena itu tidak mungkin untuk mengurangi overfitting dan menyusut ruang fungsi yang dapat diwakili

yang berasal dari jawaban terakhir dari user48956 dari Mengapa model regresi linear mencegat nol memprediksi lebih baik daripada model dengan mencegat?

Saya bingung bagaimana menyelesaikan turunan dari fungsi biaya, karena:

$$\nabla_{\theta}J(\theta)=\frac{1}{2}（X\theta-Y）^{T}（X\theta-Y）+\lambda(\theta^{'})^{T}\theta^{'},$$ mana $\theta^{'}=\left[ \begin{matrix} \theta_{1} \\ \theta_{2} \\ ...\\ \theta_{n} \end{matrix} \right]$ , $\theta=\left[ \begin{matrix} \theta_{0} \\ \theta_{1} \\ ...\\ \theta_{n} \end{matrix} \right]$ dan $X=\left[ \begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ 1 & X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ 1 & X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$ .

$\theta^{'}$ dan berbeda. Karena itu mereka tidak dapat dicampur dari sudut pandang saya. Dan turunannya adalah tentang， yang berisi . Setelah googling dan melihat pertanyaan di forum ini, masih belum ada cara bagi saya untuk mendapatkan solusinya: Adakah yang bisa memberi saya petunjuk? Terima kasih sebelumnya atas bantuan Anda!$\theta$$\theta$$\theta^{'}$

$$\theta=(X^TX+\lambda*I)^{-1}X^TY$$

Namun, saya pikir ada dua perbaikan cepat untuk masalah ini:

Pertama-tama, kita tidak menambahkan kolom semua 1 ke . Yaitu . Artinya kita tidak memasukkan intersep sama sekali dalam model: Saya percaya metode ini diadopsi dalam buku klasik Machine Learning in Action oleh Peter Harrington yang saat ini saya baca. Dalam penerapan regresi ridge (P166 dan P177 jika Anda juga memiliki buku), semua dilewatkan ke regresi ridge tidak memiliki semua 1 kolom.$X$$X=\left[ \begin{matrix} X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$

$$y=\theta_{1}X_{1}+\theta_{2}X_{2}+...+\theta_{n}X_{n}.$$ $X$

Kedua, intersep juga dihukum dalam kenyataan.

Regresi logistik scikit mengatur pengaturan intersepsi secara default.

yang sekali lagi datang dari jawaban terakhir dari user48956 dari Mengapa model regresi linear mencegat nol memprediksi lebih baik daripada model dengan mencegat?

Kedua perbaikan cepat ini mengarah ke solusi

$$\theta=(X^TX+\lambda*I)^{-1}X^TY.$$

Jadi bisakah turunan L2-normalisasi regresi ridge benar-benar diselesaikan atau hanya diselesaikan dengan perbaikan cepat?

Elemen Pembelajaran Statistik oleh Hastie et al. menunjukkan dalam P63 bahwa:

intersep telah ditinggalkan dari hukuman$\theta_{0}$

Lebih jauh, dikatakan:

Solusi punggungan tidak sama dalam penskalaan input, dan oleh karena itu orang biasanya menstandarisasi input sebelum menyelesaikan (3,41) (3,41 adalah fungsi biaya). Dapat ditunjukkan (Latihan 3.5) bahwa solusi untuk (3.41) dapat dipisahkan menjadi dua bagian, setelah reparametrization menggunakan input terpusat: setiap akan digantikan oleh Kami memperkirakan dengan Koefisien yang tersisa dapat diperkirakan dengan regresi punggungan tanpa mencegat, menggunakan berpusat . Untuk selanjutnya kami menganggap bahwa pemusatan ini telah dilakukan, sehingga matriks input memiliki$X_{j}^{(i)}$$X_{j}^{(i)}-\overline{x_{j}}.$$\theta_{0}$$\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$$X_{j}^{(i)}$$X$$n$(daripada ) kolom.$n + 1$

Meskipun saya bertanya-tanya mengapa Elemen Pembelajaran Statistik pertama menyarankan standardisasi fitur dan kemudian hanya fitur centering dilakukan. Mungkin setuju dengan Latihan 3.5 yang hanya menggunakan fitur pemusatan fitur.

Bagaimanapun, saya percaya itu benar untuk menerapkan standardisasi z-skor untuk fitur. Jadi saya sekarang mencoba untuk menyelesaikan turunan dari fungsi biaya regresi ridge mengikuti saran dari amoeba komentator di atas. Terima kasih banyak padanya!

Pertama, fungsi biaya: mana adalah rata-rata dari atribut dan adalah standar deviasi . Untuk membuatnya lebih singkat: Sekarang pertama-tama kita menghitung nilai

$$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\frac{X_{1}^{(i)}-\overline{X_1}}{\sigma_1}\theta_1-\frac{X_{2}^{(i)}-\overline{X_2}}{\sigma_2}\theta_2-...-\frac{X_{n}^{(i)}-\overline{X_n}}{\sigma_n}\theta_n)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}},$$ $\overline{X_j}$$X_{j}$$\sigma_j$$X_{j}$ $$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $\theta_0$dalam ekspresi di atas dengan menetapkan turunan terhadap sama dengan nol. Karena tidak memiliki , kita mendapatkan: Yaitu: As (karena adalah berarti atribut ), jadi sekarang kita memiliki$\theta_0$$\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$\theta_{0}$ $$\nabla_{ \theta_0}J(\theta)=-\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)=0$$ $$\sum_{i=1}^{m}(y_{i}-\theta_{0})-\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$$ $$\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$$ $\overline{X_j}$$X_{j}$ $$\sum_{i=1}^{m}(y_{i}-\theta_{0})=0,$$ jelas: $$\theta_0=\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$$

Jadi intersepsi dari regresi ridge yang distandarisasi fitur selalu . Karenanya jika kita memusatkan terlebih dahulu dengan mengurangi rerata (dapatkan untuk data contoh ), tidak termasuk semua 1 kolom dalam , dan kemudian lakukan standarisasi fitur pada (get untuk dari contoh data ) , fungsi biaya hanya akan menjadi Yaitu $\overline{y}$$Y$$(y_i)^{'}$$i$$X$$X$$(X_j^{(i)})^{'}$$X_{j}$$i$

$$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}((y_{i})^{'}-\sum_{j=1}^{n}(X_j^{(i)})^{'}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $$\nabla_{\theta}J(\theta)=\frac{1}{2}（X^{'}\theta-Y^{'}）^{T}（X^{'}\theta-Y^{'}）+\lambda(\theta)^{T}\theta,$$ mana , tidak memiliki semua 1 kolom dan standar dari , berpusat terhadap . Sekarang (tanpa ) dapat diselesaikan dengan: Untuk fitur standar, model linear akan menjadi mana $\theta=\left[ \begin{matrix} \theta_1 \\ \theta_2 \\ ...\\ \theta_n \end{matrix} \right]$$X^{'}$$X$$Y^{'}$$Y$$\theta$$\theta_0$ $$\theta=((X^{'})^TX^{'}+\lambda*I)^{-1}(X^{'})^TY^{'}$$ $$y=\overline{y}+\theta{_1}X_1^{'}+\theta{_2}X_2^{'}+...+\theta{_n}X_n^{'}---(1),$$ $$X_i^{'}=\frac{X_{i}-\overline{X_i}}{\sigma_i}---(2)$$ Jika kita menggunakan (2) in (1) seperti yang disarankan dalam jawaban Plasty Grove . Jadi untuk input data asal, model linier akan menjadi Itu adalah Itu sebabnya setelah kita menyelesaikan koefisien fitur standar, untuk mengembalikan koefisien dari data input asal (tidak standar) fitur), kita harus mengembalikan
$$y=\overline{y}+\frac{X_{1}-\overline{X_1}}{\sigma_1}\theta_1+\frac{X_{2}-\overline{X_2}}{\sigma_2}\theta_2+...+\frac{X_{n}-\overline{X_n}}{\sigma_n}\theta_n$$ $$y=\frac{\theta_1}{\sigma_1}X_1+\frac{\theta_2}{\sigma_2}X_2+...+\frac{\theta_n}{\sigma_n}X_n+\overline{y}-\frac{\overline{X_1}}{\sigma_1}\theta_1-\frac{\overline{X_2}}{\sigma_2}\theta_2-...-\frac{\overline{X_n}}{\sigma_n}\theta_n$$ $\theta_i/\sigma_i$