Mengapa Python scikit-learn LDA tidak bekerja dengan benar dan bagaimana cara menghitung LDA melalui SVD?

Saya menggunakan Linear Discriminant Analysis (LDA) dari scikit-learnperpustakaan pembelajaran mesin (Python) untuk pengurangan dimensi dan sedikit ingin tahu tentang hasilnya. Sekarang saya bertanya-tanya apa yang dilakukan LDA scikit-learnsehingga hasilnya terlihat berbeda dari, misalnya, pendekatan manual atau LDA yang dilakukan di R. Akan lebih bagus jika seseorang bisa memberi saya wawasan di sini.

Apa yang pada dasarnya paling memprihatinkan adalah bahwa scikit-plotmenunjukkan korelasi antara dua variabel di mana harus ada korelasi 0.

Untuk tes, saya menggunakan dataset Iris dan 2 diskriminan linier pertama terlihat seperti ini:

IMG-1. LDA melalui scikit-learn

masukkan deskripsi gambar di sini

Ini pada dasarnya konsisten dengan hasil yang saya temukan di dokumentasi scikit-learning di sini.

Sekarang, saya melalui LDA langkah demi langkah dan mendapat proyeksi yang berbeda. Saya mencoba berbagai pendekatan untuk mencari tahu apa yang sedang terjadi:

IMG-2. LDA pada data mentah (tidak ada pemusatan, tidak ada standardisasi)

masukkan deskripsi gambar di sini

Dan di sini akan menjadi pendekatan langkah-demi-langkah jika saya menstandarkan (z-skor normalisasi; varian unit) data terlebih dahulu. Saya melakukan hal yang sama hanya dengan pemusatan-kejam saja, yang seharusnya mengarah pada gambar proyeksi relatif yang sama (dan memang memang demikian).

IMG-3. Step-by-step LDA setelah mean-centering, atau standardisasi

masukkan deskripsi gambar di sini

IMG-4. LDA dalam R (pengaturan default)

LDA di IMG-3 di mana saya memusatkan data (yang akan menjadi pendekatan yang disukai) terlihat juga persis sama dengan yang saya temukan di Post oleh seseorang yang melakukan LDA di R masukkan deskripsi gambar di sini

Kode untuk referensi

Saya tidak ingin menempelkan semua kode di sini, tetapi saya telah mengunggahnya sebagai notebook IPython di sini dipecah menjadi beberapa langkah yang saya gunakan (lihat di bawah) untuk proyeksi LDA.

Langkah 1: Menghitung vektor rata-rata d-dimensi $m_{i} = \frac{1}{n_{i}} \sum_{x \in D_{i}}^{n} x_{k}$ $\mathbf m_i = \frac{1}{n_i} \sum\limits_{\mathbf x \in D_i}^n \; \mathbf x_k$
Langkah 2: Menghitung Matriks Sebar

2.1 dalam kelas scatter matrix dihitung dengan persamaan berikut: $S_W$

$S_{W} = \sum_{i = 1}^{c} S_{i} = \sum_{i = 1}^{c} \sum_{x \in D_{i}}^{n} (x - m_{i}) (x - m_{i})^{T}$ $S_W = \sum\limits_{i=1}^{c} S_i = \sum\limits_{i=1}^{c} \sum\limits_{\mathbf x \in D_i}^n (\mathbf x - \mathbf m_i)\;(\mathbf x - \mathbf m_i)^T$
2.2 antara kelas scatter matrix dihitung dengan persamaan berikut: di mana adalah mean keseluruhan. $S_B$

$S_{B} = \sum_{i = 1}^{c} n_{i} (m_{i} - m) (m_{i} - m)^{T}$ $S_B = \sum\limits_{i=1}^{c} n_i (\mathbf m_i - \mathbf m) (\mathbf m_i - \mathbf m)^T$ $\mathbf m$
Langkah 3. Memecahkan masalah nilai eigen umum untuk matriks $S_{W}^{-1}S_B$

3.1. Menyortir vektor eigen dengan menurunkan nilai eigen

3.2. Memilih k vektor eigen dengan nilai eigen terbesar. Menggabungkan dua vektor eigen dengan nilai eigen tertinggi untuk membangun kami berdimensi vektor eigen matriks $d \times k$ $\mathbf W$
Langkah 5: Mengubah sampel ke subruang baru
$y = W^{T} \times x .$ $\mathbf y = \mathbf W^T \times \mathbf x.$

— amuba kata Reinstate Monica
sumber

Saya belum melalui untuk mencari perbedaan, tetapi Anda dapat melihat apa yang dilakukan scikit-belajar di sumbernya .

— Dougal

Sepertinya mereka juga melakukan standarisasi (pemusatan dan kemudian penskalaan melalui pembagian dengan standar deviasi). Ini, saya akan mengharapkan hasil yang mirip dengan yang ada di plot ke-3 saya (dan plot R) ... hmm

Aneh: plot yang Anda dapatkan dengan scikit (dan yang mereka tampilkan di dokumentasi) tidak masuk akal. LDA selalu menghasilkan proyeksi yang memiliki korelasi nol, tetapi jelas ada korelasi yang sangat kuat antara proyeksi scikit pada sumbu 1 dan 2. Ada sesuatu yang salah di sana.

— Amoeba berkata Reinstate Monica

@ameoba Ya, saya juga berpikir begitu. Yang juga aneh adalah bahwa plot yang sama dengan yang saya tunjukkan untuk scikit ada dalam dokumentasi contoh: scikit-learn.org/stable/auto_examples/decomposition/... Itu membuat saya berpikir bahwa penggunaan scikit itu benar, tetapi ada sesuatu yang aneh tentang fungsi LDA

@SebastianRaschka: Ya, saya perhatikan. Memang aneh. Namun, perhatikan bahwa plot LDA pertama Anda (non-scikit) juga menunjukkan korelasi non-nol dan karenanya ada sesuatu yang salah dengan plot tersebut. Apakah Anda memusatkan data? Proyeksi pada sumbu kedua tampaknya tidak memiliki rata-rata nol.

— Amoeba berkata Reinstate Monica

Jawaban:

Pembaruan: Berkat diskusi ini, scikit-learntelah diperbarui dan berfungsi dengan benar sekarang. Kode sumber LDA-nya dapat ditemukan di sini . Masalah aslinya adalah karena bug kecil (lihat diskusi github ini ) dan jawaban saya sebenarnya tidak menunjuk dengan benar (permintaan maaf atas kebingungan yang disebabkan). Karena semua itu tidak masalah lagi (bug diperbaiki), saya mengedit jawaban saya untuk fokus pada bagaimana LDA dapat diselesaikan melalui SVD, yang merupakan algoritma default di scikit-learn.

$\boldsymbol \Sigma_W$ $\boldsymbol \Sigma_B$ $\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$

$\boldsymbol \Sigma_W^{-1/2}$

Perhatikan bahwa jika Anda memiliki dekomposisi eigen $\boldsymbol \Sigma_W = \mathbf{U}\mathbf{S}\mathbf{U}^\top$ $\boldsymbol \Sigma_W^{-1/2}=\mathbf{U}\mathbf{S}^{-1/2}\mathbf{U}^\top$ $\mathbf{X}_W = \mathbf{U} \mathbf{L} \mathbf{V}^\top \Rightarrow \boldsymbol\Sigma_W^{-1/2}=\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$
$\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}$ $\mathbf{A}^*$

$\mathbf{X}_B$ $\boldsymbol \Sigma_W^{-1/2}$
$\mathbf A$ $\boldsymbol \Sigma_W^{-1/2} \mathbf{A}^*$

Memang, jika adalah vektor eigen dari matriks di atas, maka $\mathbf a^*$
$Σ_{W}^{- 1 / 2} Σ_{B} Σ_{W}^{- 1 / 2} a^{*} = λ a^{*},$ $\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}\mathbf a^* = \lambda \mathbf a^*,$ $\boldsymbol \Sigma_W^{-1/2}$ $\mathbf a = \boldsymbol \Sigma_W^{-1/2}\mathbf a^*$ $Σ_{W}^{- 1} Σ_{B} a = λ a .$ $\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B \mathbf a = \lambda \mathbf a.$

Singkatnya, LDA setara dengan memutihkan matriks sarana kelas sehubungan dengan kovarians dalam kelas, melakukan PCA pada sarana kelas, dan mentransformasikan kembali sumbu utama yang dihasilkan ke ruang asli (tanpa dikhawatirkan).

Ini ditunjukkan misalnya dalam The Elements of Statistics Learning , bagian 4.3.3. Dalam scikit-learnhal ini adalah cara standar untuk menghitung LDA karena SVD dari matriks data secara numerik lebih stabil daripada dekomposisi eigen dari matriks kovariansnya.

$\boldsymbol \Sigma_W^{-1/2}$ scikit-learn $\mathbf{L}^{-1}\mathbf{U}^\top$ $\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

— amuba kata Reinstate Monica
sumber

Terima kasih atas jawaban yang bagus ini. Saya menghargai bahwa Anda meluangkan waktu untuk menulisnya dengan baik. Mungkin Anda bisa menyebutkannya dalam diskusi di GitHub; Saya yakin itu akan membantu memperbaiki LDA di versi sci-kit berikutnya

@SebastianRaschka: Saya tidak punya akun di GitHub. Tetapi jika Anda mau, Anda bisa memberikan tautan ke utas ini.

— Amoeba berkata Reinstate Monica

Σ_{W}^{- 1} Σ_{B}

$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$

Σ_{W}^{- 1}

$\boldsymbol \Sigma_W^{-1}$

Untuk referensi, ini adalah implementasi yang saya bicarakan: sourceforge.net/p/mlpy/code/ci/default/tree/mlpy/da.py#l24 github.com/sccn/BCILAB/blob/master/code/machine_learning / ... mathworks.com/matlabcentral/fileexchange/…

— kazemakase

Σ_{B}

$\boldsymbol \Sigma_B$

Σ_{W}^{- 1} Σ_{B}

$\boldsymbol \Sigma_W^{-1}\boldsymbol \Sigma_B$

Σ_{W}^{- 1} (μ_{1} - μ_{2})

$\boldsymbol \Sigma_W^{-1}(\boldsymbol\mu_1 - \boldsymbol\mu_2)$

μ_{i}

$\boldsymbol\mu_i$

— Amuba mengatakan Reinstate Monica

Hanya untuk menutup pertanyaan ini, masalah yang dibahas dengan LDA telah diperbaiki di scikit-learn 0.15.2 .