Norma - Apa yang khusus tentang

13

Sebuah $L_1$ norma adalah unik (setidaknya sebagian) karena $p=1$ adalah pada batas antara non-cembung dan cembung. Sebuah $L_1$ norma adalah 'yang paling jarang' cembung norma (kanan?).

Saya mengerti bahwa $p=2$ norma Euclidean memiliki akar dalam geometri dan memiliki interpretasi yang jelas ketika dimensi memiliki unit yang sama. Tapi saya tidak mengerti mengapa ini digunakan secara istimewa di atas bilangan real lainnya $p>1$ : $p=1.5$ ? $p=\pi$ ? Mengapa tidak menggunakan rentang kontinu penuh sebagai hyperparameter?

Apa yang saya lewatkan?

regression regularization sparse

— Trenton
sumber

1

"Digunakan istimewa" di aplikasi mana, khususnya? Norma ada di mana-mana dalam matematika, statistik, dan fisika; di beberapa subbidang beberapa norma lebih lazim daripada yang lain karena lebih bermakna atau lebih mudah untuk dikerjakan. Karena alasan ini, jawaban atas pertanyaan ini kemungkinan akan banyak dan beragam (sangat beragam, bahkan, secara pribadi saya menemukan ini tidak dapat dijawab). Karena itu saya telah membuat ini "Wiki Komunitas" (CW) pos; tetapi jika Anda memiliki aplikasi tertentu atau bidang sempit dalam pikiran, maka dengan membuat pertanyaan Anda lebih tepat, mungkin untuk menghapus status CW.

— whuber

12

Penjelasan yang lebih matematis adalah bahwa ruang , yang terdiri dari semua seri yang berkumpul di p-norma, hanya Hilbert dengan dan tidak ada nilai lain. Ini berarti bahwa ruang ini lengkap dan norma pada ruang itu dapat disebabkan oleh produk dalam (pikirkan produk titik yang dikenal dalam ), jadi ini sedikit lebih baik untuk digunakan. $l^p$ $p=2$ $R^n$

— JohnK
sumber

4

Berikut adalah beberapa alasan:

$\ell_2$ $z$ $\ell_2$ $z$ $\lVert x\rVert_2^2 = x \cdot x$ $\ell_p$
$\nabla_{x} ‖ f (x) ‖_{2}^{2} = 2 \nabla f (x) \cdot f (x)$ $\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$

— pengguna541686
sumber

2

Meskipun ada banyak alasan lain tetapi AFAIK p = 2 lebih disukai karena alasan berikut:

Ukuran kesamaan / perbedaan: Untuk p = 2, norma Euclidean memberikan ukuran kesamaan atau perbedaan antara dua vektor yang selanjutnya dapat digunakan untuk mendapatkan wawasan yang lebih baik tentang data. Jawaban yang lebih terperinci tentang hal ini dapat ditemukan di sini .
Regularisasi: Norma L2 digunakan untuk regularisasi dalam pembelajaran mesin dan lebih disukai karena dua alasan - 1) Mudah dibedakan 2) Dengan regularisasi L2, bobot cenderung berkurang secara proporsional dengan bobot. Oleh karena itu regularisasi L2 menghukum bobot yang lebih besar lebih banyak dibandingkan dengan bobot yang lebih kecil.

— enterML
sumber

1

Kesalahan kuadrat dalam model linier sering lebih disukai karena:

hubungan dengan ortogonalitas, yang berperilaku baik sehubungan dengan beberapa fenomena acak yang dianggap sebagai kebisingan (tidak berkorelasi)
$L_1$
itu menghasilkan algoritma optimisasi penurut sebagai turunan berubah menjadi sistem linier

$L_1$ $\ell_1$ $\ell_p$ $0<p<1$

$\ell_0$ $\ell_0$ $0$ $\ell_p$ $1$ $\ell_p \to \ell_0$ $p\to 0$

$\ell_1 / \ell_2$ $\ell_1 / \ell_2$

— Laurent Duval
sumber