Kisaran lambda dalam regresi jaring elastis

$\def\l{|\!|}$ Diberikan regresi net elastis

min_{b} \frac{1}{2} | | y - X b | |^{2} + α λ | | b | |_{2}^{2} + (1 - α) λ | | b | |_{1}

$\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1$

bagaimana rentang $\lambda$ dapat dipilih untuk validasi silang?

Dalam $\alpha=1$ kasus (regresi ridge) rumus

dof = \sum_{j} \frac{s_{j}^{2}}{s_{j}^{2} + λ}

$\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda}$

dapat digunakan untuk memberikan derajat kebebasan yang setara untuk setiap lambda (di mana $s_j$ adalah nilai tunggal $X$ ), dan derajat kebebasan dapat dipilih dalam rentang yang masuk akal.

Dalam kasus $\alpha=0$ (laso) kita tahu itu

λ > λ_{maks} = \underset{j}{maks} | \sum_{t} y_{t} X_{t j} |

$\lambda > \lambda_{\textrm{max}} = \max_j|\sum_t y_t X_{tj}|$

akan menghasilkan semua $b_j$ menjadi nol, dan $\lambda$ dapat dipilih dalam beberapa rentang $(0, \lambda_\textrm{max})$ .

Tetapi bagaimana menangani kasing campuran?

— Chris Taylor
sumber

Saya pikir Anda harus menggunakan rentang $0$ hingga

λ_{maks}^{'} = \frac{1}{1 - α} λ_{maks}

$\lambda_\text{max}^\prime = \frac{1}{1-\alpha}\lambda_\text{max}$

Alasan saya berasal dari memperpanjang kasus laso, dan derivasi penuh di bawah ini. adalah ia tidak menangkap batasan disumbangkan oleh regularisasi . Jika saya mencari cara untuk memperbaikinya (dan memutuskan apakah itu benar-benar perlu diperbaiki), saya akan kembali dan mengeditnya. $\text{dof}$ $\ell_2$

Definisikan tujuan

f (b) = \frac{1}{2} ‖ y - X b ‖^{2} + \frac{1}{2} γ ‖ b ‖^{2} + δ ‖ b ‖_{1}

$f(b) = \frac{1}{2} \|y - Xb\|^2 + \frac{1}{2} \gamma \|b\|^2 + \delta \|b\|_1$

Ini adalah tujuan yang Anda gambarkan, tetapi dengan beberapa parameter diganti untuk meningkatkan kejelasan.

Secara konvensional, hanya bisa menjadi solusi untuk masalah optimisasi jika gradien pada adalah nol. Namun istilah tidak mulus, jadi syaratnya adalah terletak pada subgradien pada . $b=0$ $\min f(b)$ $b = 0$ $\|b\|_1$ $0$ $b = 0$

Subgradien dari adalah $f$

\partial f = - X^{T} (y - X b) + γ b + δ \partial ‖ b ‖_{1}

$\partial f = -X^T(y - Xb) + \gamma b + \delta \partial \|b\|_1$

di mana menunjukkan subgradient sehubungan dengan . Pada , ini menjadi $\partial$ $b$ $b=0$

\partial f |_{b = 0} = - X^{T} y + δ [- 1, 1]^{d}

$\partial f|_{b=0} = -X^Ty + \delta[-1, 1]^d$

mana adalah dimensi , dan adalah $d$ $b$ $[-1,1]^d$ $d$ kubus dimensi. Jadi untuk masalah pengoptimalan untuk memiliki solusi , harus seperti itu $b = 0$

(X^{T} y)_{saya} \in δ [- 1, 1]

$(X^Ty)_i \in \delta [-1, 1]$

untuk setiap komponen $i$ . Ini setara dengan

δ > \underset{saya}{maks} | \sum_{j} y_{j} X_{saya j} |

$\delta > \max_i \left|\sum_j y_j X_{ij} \right|$

yang merupakan definisi yang Anda berikan untuk . Jika sekarang ditukar, rumus dari atas pos keluar. $\lambda_\text{max}$ $\delta = (1-\alpha)\lambda$

— Andy Jones
sumber