Bagaimana memahami "nonlinier" seperti dalam "pengurangan dimensi nonlinier"?

24

Saya mencoba untuk memahami perbedaan antara metode reduksi dimensionalitas linier (misalnya, PCA) dan yang nonlinier (misalnya, Isomap).

Saya tidak begitu mengerti apa arti linearitas (non) dalam konteks ini. Saya membaca dari Wikipedia itu

Sebagai perbandingan, jika PCA (algoritma reduksi dimensionalitas linier) digunakan untuk mengurangi dataset yang sama ini menjadi dua dimensi, nilai-nilai yang dihasilkan tidak tertata dengan baik. Ini menunjukkan bahwa vektor berdimensi tinggi (masing-masing mewakili huruf 'A') yang mengambil sampel manifold ini bervariasi secara non-linear.

Apa tidak

vektor-vektor berdimensi tinggi (masing-masing mewakili huruf 'A') yang mengambil sampel manifold ini bervariasi secara non-linear.

berarti? Atau lebih luas lagi, bagaimana saya memahami linearitas (non) dalam konteks ini?

— Sibbs Gambling
sumber

20

Pengurangan dimensi berarti Anda memetakan setiap vektor banyak dimensi ke dalam vektor berdimensi rendah. Dengan kata lain, Anda mewakili (mengganti) setiap vektor banyak dimensi dengan vektor dimensi rendah.

Pengurangan dimensionalitas linier berarti bahwa komponen-komponen dari vektor dimensi rendah diberikan oleh fungsi-fungsi linier dari komponen-komponen vektor berdimensi tinggi yang sesuai. Misalnya dalam kasus reduksi ke dua dimensi yang kita miliki:

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

Jika f1dan f2(fungsi) linear, kami memiliki (dimensi) pengurangan dimensi linear.

— Roma
sumber

3

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

1

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$ adalah komponen dari vektor dimensi rendah dan tinggi, masing-masing (dan saya pikir bukan itu yang Anda maksud). Saya pikir masalahnya bukan pada pemahaman apa fungsi linear tetapi di mana linearitas muncul.

— Roman

49

Sebuah gambar bernilai ribuan kata:

PCA vs Isomap

Di sini kita mencari struktur 1 dimensi dalam 2D. Titik-titiknya terletak di sepanjang kurva berbentuk S. PCA mencoba menggambarkan data dengan manifold 1 dimensi linier , yang hanya berupa garis; tentu saja garis yang cocok dengan data ini sangat buruk. Isomap mencari manifold 1-dimensi nonlinear (yaitu melengkung!), Dan harus dapat menemukan kurva berbentuk S yang mendasarinya.

— amuba kata Reinstate Monica
sumber