Jelaskan langkah-langkah algoritma LLE (local linear embedding)?

Saya mengerti prinsip dasar di balik algoritma untuk LLE terdiri dari tiga langkah.

Menemukan lingkungan setiap titik data dengan beberapa metrik seperti k-nn.
Temukan bobot untuk setiap tetangga yang menunjukkan efek yang dimiliki tetangga pada titik data.
Bangun penyisipan data dimensi rendah berdasarkan bobot yang dihitung.

Tetapi penjelasan matematis dari langkah 2 dan 3 membingungkan dalam semua buku teks dan sumber daya online yang telah saya baca. Saya tidak dapat alasan mengapa formula itu digunakan.

Bagaimana langkah-langkah ini dilakukan dalam praktik? Apakah ada cara intuitif untuk menjelaskan rumus matematika yang digunakan?

Referensi: http://www.cs.nyu.edu/~roweis/lle/publications.html

— Pengguna1234321232
sumber

Local linear embedding (LLE) menghilangkan kebutuhan untuk memperkirakan jarak antara objek yang jauh dan memulihkan struktur global non-linier dengan pencocokan linear lokal. LLE menguntungkan karena tidak melibatkan parameter seperti tingkat pembelajaran atau kriteria konvergensi. LLE juga berskala baik dengan dimensi intrinsik . Fungsi objektif untuk LLE adalah Matriks bobot elemen untuk objek dan ditetapkan ke nol jika $\mathbf{Y}$

ζ (Y) = (Y - W Y)^{2} = Y^{⊤} (I - W)^{⊤} (I - W) Y

$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$

W

$\mathbf{W}$

w_{i j}

$w_{ij}$

i

$i$

j

$j$

j

$j$ bukan tetangga terdekat , jika tidak, bobot untuk K-tetangga terdekat objek ditentukan melalui kuadrat terkecil yang sesuai dari mana variabel dependen adalah vektor , adalah matriks Gram untuk semua tetangga terdekat dari objek , dan adalah vektor bobot yang mengikuti batasan jumlah hingga kesatuan. Biarkan menjadi semidefinit positif simetris

i

$i$

i

$i$

U = G β

$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$

U

$\mathbf{U}$

K \times 1

$K \times 1$

G

$\mathbf{G}$

K \times K

$K \times K$

i

$i$

β

$\boldsymbol{\beta}$

K \times 1

$K \times 1$

D

$\mathbf{D}$

K \times K

$K \times K$ matriks jarak untuk semua pasangan tetangga terdekat K dari objek -dimensi . Dapat diperlihatkan bahwa sama dengan matriks jarak berpusat ganda dengan elemen The koefisien regresi ditentukan secara numerik menggunakan

p

$p$

x_{i}

$\mathbf{x}_i$

G

$\mathbf{G}$

τ

$\boldsymbol{\tau}$

τ_{l m} = - \frac{1}{2} (d_{l m}^{2} - \frac{1}{K} \sum_{l} d_{l m}^{2} - \frac{1}{K} \sum_{m} d_{l m}^{2} + \sum_{l} \sum_{m} d_{l m}^{2}) .

$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$

K

$K$

\underset{K \times 1}{β} = {\underset{K \times K}{(τ^{⊤} τ)}}^{- 1} \underset{K \times 1}{τ^{⊤} U},

$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$ dan diperiksa untuk mengonfirmasi mereka berjumlah satu. Nilai disematkan ke baris dari pada berbagai posisi kolom yang sesuai dengan tetangga terdekat K-objek objek , serta elemen transpos. Ini diulang untuk setiap objek th dalam dataset. Perlu dicatat bahwa jika jumlah tetangga terdekat terlalu rendah, maka dapat jarang menyebabkan analisis eigen menjadi sulit. Diamati bahwa tetangga terdekat menghasilkan

β

$\boldsymbol{\beta}$

i

$i$

W

$\mathbf{W}$

i

$i$

i

$i$

K

$K$

W

$\mathbf{W}$

K = 9

$K=9$

W

$\mathbf{W}$ matriks yang tidak mengandung patologi selama analisis eigen. Fungsi objektif diminimalkan dengan menemukan nilai eigen non-nol terkecil dari Bentuk dikurangi diwakili oleh mana memiliki dimensi berdasarkan pada dua nilai eigen terendah dari .

(I - W)^{⊤} (I - W) E = Λ D E .

$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$

X

$\mathbf{X}$

Y = E

$\mathbf{Y}=\mathbf{E}$

E

$\mathbf{E}$

n \times 2

$n \times 2$

Λ

$\boldsymbol{\Lambda}$

— Logika NXG
sumber

"K = 9 tetangga terdekat" Tidakkah ini bergantung pada dimensi ? Misalnya, jika memiliki dimensi kurang dari 9, maka matriks bobot tidak ditentukan secara unik. Apakah ini menyebabkan masalah dengan LLE?

Y

$Y$

Y

$Y$

W

$W$

— Scott

Ya, tetapi jika ada, katakanlah, 8 dimensi maka untuk data acak secara harfiah setiap titik dapat ditulis dengan sempurna sebagai kombinasi linear dari 9 lainnya, dalam jumlah cara yang tak terbatas.

— Scott

Selalu ada skenario "bagaimana jika" ketika menerapkan teknik, dan itulah sebabnya batasan parameter digunakan.

— NXG Logic