Bagaimana menerapkan regularisasi L2 menuju titik arbitrer di ruang angkasa?

11

Ini adalah sesuatu yang saya baca di buku Ian Goodfellow, Deep Learning .

Dalam konteks jaringan saraf, "hukuman norma parameter L2 umumnya dikenal sebagai pembusukan berat. Strategi regularisasi ini mendorong bobot lebih dekat ke titik asal [...]. Secara umum, kita dapat mengatur parameter agar mendekati titik tertentu dalam ruang "tetapi jauh lebih umum untuk mengatur parameter model ke nol. (Pembelajaran Jauh, Goodfellow et al.)

Saya hanya penasaran. Saya memahami bahwa dengan hanya menambahkan istilah regularizing untuk fungsi biaya kami, dan bahwa dengan meminimalkan biaya ini Total kita dapat mempengaruhi parameter model untuk tetap kecil: $J$

J (Θ, X, y) = L (Θ, X, y) + λ | | w | |_{2}^{2}

$J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2}$

Tetapi bagaimana kita menerapkan versi strategi regularisasi ini yang akan mengarahkan parameter menuju titik sembarang? (katakanlah kita ingin norma cenderung menuju 5)

— Julep
sumber

14

Anda sebenarnya mengajukan dua pertanyaan berbeda.

Memiliki norma cenderung ke 5 menyiratkan bahwa Anda ingin bobot berada di dekat permukaan hypersphere yang berpusat pada titik asal dengan jari-jari 5. Regulatorisasi ini terlihat seperti

J (Θ, X, y) = L (Θ, X, y) + λ (| | w | |_{2}^{2} - 5)^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda (||w||_2^2-5)^2$

Tapi Anda bisa menggunakan sesuatu seperti $\lambda \cdot\text{abs}(||w||_2^2-5)$ , saya kira.

Di sisi lain, jika Anda ingin cenderung ke titik arbitrer, Anda hanya perlu menggunakan titik itu sebagai pusat . $c$

J (Θ, X, y) = L (Θ, X, y) + λ | | w - c | |_{2}^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda ||w-c||_2^2$

— Sycorax berkata Reinstate Monica
sumber

(+1) Saya pikir cara berbuah untuk berpikir tentang "norma cenderung ke lima" bisa melalui pemilihan parameter tuning dalam versi diberikan oleh OP (daripada mengubah fungsi)

J

$J$

— user795305

(Saya telah menulis jawaban singkat untuk menjelaskan apa yang saya maksud di atas. Terima kasih, omong-omong, karena telah menjelaskan perbedaan dari dua pertanyaan yang diajukan!)

— user795305

tujuan umum (praktis) ketika melakukan itu adalah untuk mengatur ke beberapa titik operasi yang diketahui misalnya model sebelumnya yang ingin Anda ganti tetapi Anda ingin transisi "mulus"

— oDDsKooL

6

TentukanKita tahu bahwa , karena hukumannya memiliki asal sebagai minimizer.

{\hat{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ ‖ w ‖_{2}^{2} .

$\hat w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \|w\|_2^2.$

lim_{λ \to \infty} {\hat{w}}_{λ} = 0

$\lim_{\lambda \to \infty} \hat w_\lambda = 0$

w \mapsto ‖ w ‖_{2}^{2}

$w \mapsto \|w\|_2^2$

Sycorax menunjukkan bahwa, sama halnya,Generalisasi yang berhasil ini dapat mengarahkan kita untuk mengusulkan estimator mana adalah fungsi minimizer yang memenuhi beberapa properti yang kita cari. Memang, Sycorax mengambil , di mana (secara unik) diminimalkan pada titik asal, dan, khususnya, . Karena itu , seperti yang diinginkan. Sayangnya, kedua pilihan $\lim_{\lambda \to \infty} \left\{ \arg\min_w L(\Theta, X, y) + \lambda \|w-c\|_2^2 \right\} = c.$

{\tilde{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ p e n (w),

$\tilde w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \mathrm{pen}(w),$

p e n

$\mathrm{pen}$

p e n (w) = g (‖ w ‖_{2}^{2} - 5)

$\mathrm{pen}(w) = g(\|w\|_2^2 - 5)$

g

$g$

g \in {| \cdot |, (\cdot)^{2}}

$g \in \{|\cdot|, \, (\cdot)^2\}$

lim_{λ \to \infty} ‖ {\tilde{w}}_{λ} ‖_{2}^{2} = 5

$\lim_{\lambda \to \infty} \|\tilde w_\lambda \|_2^2 = 5$

g

$g$ menyebabkan hukuman yang nonconvex, menyebabkan estimator menjadi sulit untuk dihitung.

Analisis di atas tampaknya menjadi solusi terbaik (mungkin hingga pilihan , di mana saya tidak memiliki yang lebih baik untuk menyarankan) jika kita bersikeras sebagai interpretasi unik "cenderung" yang dijelaskan dalam pertanyaan. Namun, dengan asumsi bahwa , ada beberapa sehingga minimizer dari masalah OP satsifes . Karena itu tanpa perlu mengubah fungsi tujuan. Jika tidak ada seperti itu, maka masalah komputasi $g$ $\lambda \to \infty$ $\|\arg\min_w L(\Theta, X, y) \|_2^2 \geq 5$ $\Lambda$ $\hat w_\Lambda$ $\|\hat w_\Lambda\|_2^2 = 5$

lim_{λ \to Λ} {‖ {\hat{w}}_{λ} ‖}_{2}^{2} = 5,

$\lim_{\lambda \to \Lambda} \left\| \hat w_\lambda \right\|_2^2 = 5,$

Λ

$\Lambda$

\arg min_{w : ‖ w ‖_{2}^{2} = 5} L (Θ, X, y)

$\arg\min_{w : \|w\|_2^2 = 5} L(\Theta, X, y)$ secara intrinsik sulit. Memang, tidak perlu mempertimbangkan estimator selain ketika mencoba untuk mendorong sifat alami dari .

{\hat{w}}_{λ}

$\hat w_\lambda$

‖ {\hat{w}}_{λ} ‖_{2}^{2}

$\|\hat w_\lambda\|_2^2$

(Untuk menegakkan bahwa penaksir yang dihukum mendapatkan nilai penalti yang tidak dicapai oleh penaksir yang tidak dihukum tampaknya sangat tidak wajar bagi saya. Jika ada yang mengetahui tempat-tempat di mana ini sebenarnya diinginkan, silakan lakukan komentar!)

— pengguna795305
sumber

1

Ini adalah tambahan yang bagus. +1

— Sycorax berkata Reinstate Monica

2

Untuk tepat dimungkinkan untuk melihatnya sebagai kemungkinan log negatif dan pengaturan yang tepat dapat dilihat sebagai kemungkinan log negatif untuk distribusi sebelumnya. Pendekatan ini disebut Maximum A Posteriori (MAP). $L$ $J$

Seharusnya mudah untuk melihat contoh-contoh Sycorax dalam terang MAP.

Untuk detail MAP Anda dapat melihat catatan ini . Dari pengalaman saya, googling 'maksimum a posteriori regularisasi' memberikan hasil yang baik.

— Jakub Bartczuk
sumber