Apa itu norma

Saya telah melihat banyak makalah tentang representasi jarang belakangan ini, dan kebanyakan dari mereka menggunakan norma dan melakukan beberapa minimisasi. Pertanyaan saya adalah, apa norma , dan norma campuran? Dan bagaimana mereka relevan dengan regularisasi? $\ell_p$ $\ell_p$ $\ell_{p, q}$

Terima kasih

machine-learning regularization sparse

— air
sumber

$\ell_p$ adalah fungsi yang mengambil vektor dan mengembalikan nomor non-negatif. Mereka didefinisikan sebagai Dalam kasus di mana , ini adalah disebut norma Euclidean . Anda dapat mendefinisikan jarak Euclidean sebagai . Ketika , ini berarti (atau ). Sebenarnya, harus setidaknya satu untuk menjadi norma . Jika , maka

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$

p = 2

$p=2$

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$

p = \infty

$p = \infty$

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$

max_{i} x_{i}

$\max_i x_i$

p

$p$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$ sebenarnya bukan norma, karena norma harus memenuhi ketimpangan segitiga.

(Ada juga norma , yang didefinisikan secara analagous, kecuali untuk fungsi alih-alih vektor atau urutan - sungguh ini adalah hal yang sama, karena vektor adalah fungsi dengan domain yang terbatas.) $L_p$

Saya tidak mengetahui adanya penggunaan untuk norma dalam aplikasi pembelajaran mesin di mana , kecuali di mana . Biasanya Anda melihat atau , atau kadang-kadang mana Anda ingin bersantai ; tidak sepenuhnya cembung di , tetapi adalah, untuk . Ini dapat membuat mencari solusi "lebih mudah" dalam kasus-kasus tertentu. $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ $1 < p < \infty$

Dalam konteks regularisasi, jika Anda menambahkan ke fungsi tujuan Anda, apa yang Anda katakan adalah bahwa Anda berharap menjadi jarang , artinya, sebagian besar terdiri dari nol. Ini agak teknis, tetapi pada dasarnya, jika ada solusi padat , kemungkinan ada solusi sparser dengan norma yang sama. Jika Anda mengharapkan solusi Anda menjadi padat, Anda dapat menambahkan ke tujuan Anda, karena itu lebih mudah untuk bekerja dengan turunannya. Keduanya melayani tujuan menjaga solusi dari memiliki berat badan terlalu banyak. $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_2^2$

Norma campuran muncul ketika Anda mencoba mengintegrasikan beberapa sumber. Pada dasarnya Anda ingin vektor solusi terdiri dari beberapa bagian , di mana adalah indeks dari beberapa sumber. The norma hanyalah -norm dari semua -norms dikumpulkan dalam vektor. Yaitu, $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

Tujuan dari ini bukan untuk "melebih-lebihkan" seperangkat solusi, katakanlah dengan menggunakan . Potongan-potongan individual jarang, tetapi Anda tidak mengambil risiko nuking seluruh vektor solusi dengan mengambil -norm dari semua solusi. Jadi Anda menggunakan -norm di luar sebagai gantinya. $\|\vec x\|_{1,2}$ $1$ $2$

Semoga itu bisa membantu.

Lihat makalah ini untuk lebih jelasnya.

— Josephine Moeller
sumber

+1 untuk penjelasan tentang norma campuran. Saya sendiri tidak pernah memahaminya.

— Suresh Venkatasubramanian

(+1) Jawaban yang bagus. Selamat datang di CrossValidated, John!

— MånsT