Efisiensi Regresi Kernel Ridge

Regresi Ridge dapat dinyatakan sebagai mana adalah label yang diprediksi , yang mengidentifikasi matriks, obyek kita mencoba untuk menemukan label untuk, dan yang matriks benda sedemikian rupa sehingga:

\hat{y} = (X^{'} X + a I_{d})^{- 1} X x

$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$

\hat{y}

$\hat{y}$

I_{d}

$\mathbf{I}_d$

d \times d

$d \times d$

x

$\mathbf{x}$

X

$\mathbf{X}$

n \times d

$n \times d$

n

$n$

x_{i} = (x_{i, 1}, . . ., x_{i, d}) \in R^{d}

$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

X = (\begin{matrix} x_{1, 1} & x_{1, 2} & \dots & x_{1, d} \\ x_{2, 1} & x_{2, 2} & \dots & x_{2, d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n, 1} & x_{1, 2} & \dots & x_{n, d} \end{matrix})

$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$

Kita dapat membuat kernel ini sebagai berikut:

\hat{y} = (K + a I_{d})^{- 1} k

$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$

di mana adalah matriks dari fungsi kernel $\mathbf{\mathcal{K}}$ $n \times n$ $K$

K = (\begin{matrix} K (x_{1}, x_{1}) & K (x_{1}, x_{2}) & \dots & K (x_{1}, x_{n}) \\ K (x_{2}, x_{1}) & K (x_{2}, x_{2}) & \dots & K (x_{2}, x_{n}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ K (x_{n}, x_{1}) & K (x_{n}, x_{2}) & \dots & K (x_{n}, x_{n}) \end{matrix})

$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$

dan yang vektor kolom dari fungsi kernel $\mathbf{k}$ $n \times 1$ $K$

k = (\begin{matrix} K (x_{1}, x) \\ K (x_{2}, x) \\ ⋮ \\ K (x_{n}, x) \end{matrix})

$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$

Pertanyaan:

(a) jika ada lebih banyak objek daripada dimensi, masuk akal untuk tidak menggunakan kernel? Misalkan biarkan menjadi matriks lalu akan menjadi dan kita akan berakhir membalikkan matriks alih-alih matriks kita harus membalikkannya jika kita menggunakan kernel. Apakah ini berarti bahwa jika kita harus tidak menggunakan kernel? $\mathbf{x}_i$ $\mathbf{X}$ $50 \times 3$ $\mathbf{X}'\mathbf{X}$ $3 \times 3$ $3 \times 3$ $50 \times 50$ $d \leq n$

(b) haruskah kernel yang paling sederhana digunakan? Tampaknya kernel dalam regresi ridge digunakan untuk meniadakan pengaruh dimensi dan tidak memanfaatkan sifat-sifat tertentu dari ruang fitur (tidak seperti mesin vektor dukungan). Meskipun, kernel dapat mengubah jarak antara objek sehingga apakah ada kernel populer yang sering digunakan dalam regresi ridge?

regression ridge-regression kernel-trick

— Spiral
sumber

'efisiensi' memiliki arti berbeda dalam statistik. Apakah maksud Anda 'kompleksitas komputasi'? (dalam judul)

— Memming

Maksud saya "efisiensi algoritmik". Meskipun benar bahwa pertanyaan saya pada dasarnya mengurangi ini menjadi "kompleksitas komputasi".

— Helix

(a) Tujuan penggunaan kernel adalah untuk menyelesaikan masalah regresi nonlinear dalam kasus ini. Kernel yang baik akan memungkinkan Anda untuk memecahkan masalah dalam ruang fitur dimensi tak terbatas. Tetapi, menggunakan kernel linear dan melakukan regresi punggungan kernel di ruang ganda sama dengan memecahkan masalah di ruang utama , yaitu, itu tidak membawa keuntungan apa pun (itu hanya lebih lambat karena jumlah sampel bertambah seperti yang Anda amati). $K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$

(b) Salah satu pilihan paling populer adalah kernel eksponensial kuadrat yang bersifat universal (lihat ref di bawah). Ada banyak kernel, dan masing-masing kernel akan menginduksi produk dalam yang berbeda (dan karenanya metrik) ke ruang fitur Anda. $K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$

(c) Implementasi langsung membutuhkan penyelesaian persamaan linear ukuran , jadi . Ada banyak metode perkiraan yang lebih cepat seperti perkiraan Nyström. Ini adalah area penelitian aktif. $n$ $O(n^3)$

Referensi:

Bharath Sriperumbudur, Kenji Fukumizu, dan Gert Lanckriet. Pada hubungan antara universalitas, kernel karakteristik dan RKHS menanamkan langkah-langkah. Jurnal Penelitian Pembelajaran Mesin, 9: 773-780, 2010.
Bernhard Schlkopf, Alexander J. Smola. Belajar dengan Kernel: Mendukung Mesin Vektor, Regularisasi, Optimasi, dan Beyond 2002

— Memming
sumber