Pendekatan Bayesian dan Fisher untuk analisis diskriminan linier

Saya tahu 2 pendekatan untuk melakukan LDA, pendekatan Bayesian dan pendekatan Fisher .

Misalkan kita memiliki data $(x,y)$ , di mana $x$ adalah prediktor $p$ dimensi dan $y$ adalah variabel dependen dari kelas $K$

Dengan pendekatan Bayesian , kita menghitung posterior

p (y_{k} | x) = \frac{p (x | y_{k}) p (y_{k})}{p (x)} \propto p (x | y_{k}) p (y_{k})

$p(y_k|x)=\frac{p(x|y_k)p(y_k)}{p(x)}\propto p(x|y_k)p(y_k)$ , dan seperti dikatakan dalam buku-buku, asumsikan

p (x | y_{k})

$p(x|y_k)$ adalah Gaussian, kita sekarang memiliki fungsi diskriminan untuk

k

$k$ th kelas sebagai

\begin{aligned} f_{k} (x) & = \ln p (x | y_{k}) + \ln p (y_{k}) \\ = \ln [\frac{1}{(2 π)^{p / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x - μ_{k})^{T} Σ^{- 1} (x - μ_{k}))] + \ln p (y_{k}) \\ = x^{T} Σ^{- 1} μ_{k} - \frac{1}{2} μ_{k}^{T} Σ^{- 1} μ_{k} + \ln p (y_{k}) \end{aligned}

$\begin{align*}f_k(x)&=\ln p(x|y_k)+\ln p(y_k)\\&=\ln\left[\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)\right)\right]+\ln p(y_k)\\&=x^T\Sigma^{-1}\mu_k-\frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k+\ln p(y_k)\end{align*}$ , saya bisa melihat

f_{k} (x)

$f_k(x)$ adalah fungsi linear dari

x

$x$ , jadi untuk semua

K

$K$ kelas kita memiliki

K

$K$ linear fungsi diskriminan.

Namun, dengan pendekatan Fisher , kami mencoba untuk memproyeksikan ke ruang dimensi untuk mengekstraksi fitur baru yang meminimalkan varians dalam kelas dan memaksimalkan varians antar kelas , katakanlah matriks proyeksi adalah dengan setiap kolom menjadi proyeksi arah. Pendekatan ini lebih seperti teknik reduksi dimensi . $x$ $(K-1)$ $W$

Pertanyaan saya adalah

(1) Bisakah kita melakukan pengurangan dimensi menggunakan pendekatan Bayesian? Maksudku, kita dapat menggunakan pendekatan Bayesian untuk melakukan klasifikasi dengan menemukan fungsi diskriminan yang memberikan nilai terbesar untuk baru , tetapi dapat fungsi-fungsi diskriminan digunakan untuk proyek untuk menurunkan dimensi subruang? Sama seperti pendekatan Fisher . $f_k(x)$ $x^*$ $f_k(x)$ $x$

(2) Apakah dan bagaimana kedua pendekatan ini saling berhubungan? Saya tidak melihat hubungan antara mereka, karena satu tampaknya hanya untuk dapat melakukan klasifikasi dengan nilai, dan yang lainnya terutama ditujukan pada pengurangan dimensi. $f_k(x)$

MEMPERBARUI

Berkat @amoeba, menurut buku ESL, saya menemukan ini: masukkan deskripsi gambar di sini

dan ini adalah fungsi diskriminan linier, diturunkan melalui teorema Bayes plus dengan asumsi semua kelas memiliki matriks kovarian yang sama . Dan fungsi diskriminan ini adalah SAMA dengan yang saya tulis di atas. $\Sigma$ $f_k(x)$

Dapatkah saya menggunakan sebagai arah untuk memproyeksikan , untuk melakukan pengurangan dimensi? Saya tidak yakin tentang ini, karena AFAIK, pengurangan dimensi dicapai dengan melakukan analisis varians antar-dalam . $\Sigma^{-1}\mu_k$ $x$

PEMBARUAN LAGI

Dari bagian 4.3.3, beginilah proyeksi yang dihasilkan:

masukkan deskripsi gambar di sini

$W$ $W$ $K$ $W$

discriminant-analysis

— alpukat
sumber

Pertanyaan Anda mencampur dua hal. Saya pikir Anda belum mencerna percakapan kami atas pertanyaan Anda sebelumnya . Apa yang Anda jelaskan pertama kali adalah pendekatan Bayesian ke klasifikasi (bukan "Bayesian approach to LDA"). Pendekatan ini dapat digunakan (1) dengan variabel asli sebagai pengklasifikasi atau (2) dengan diskriminan yang diperoleh dalam LDA sebagai pengklasifikasi. Lalu apa pendekatan Fisher?

— ttnphns

(Lanj.) Ya, "LDA Fisher" hanyalah LDA dengan K = 2. Ketika melakukan klasifikasi dalam LDA Fisher seperti itu, menciptakan formula sendiri untuk melakukan klasifikasi. Rumus ini dapat bekerja juga untuk K> 2. Metode klasifikasinya sulit digunakan saat ini karena pendekatan Bayes lebih umum.

— ttnphns

@ttnphns, alasan mengapa saya bingung adalah karena hampir setiap buku yang saya maksud berbicara tentang LDA menggunakan pendekatan Bayesian ini, menguliahi LDA sebagai model generatif, mereka tidak menyebutkan rasio antar-kelompok dan di dalam kelengkapan kelompok. .

— alpukat

@loganecolss: Sudahkah Anda melihat jawaban saya di bawah ini? Apakah Anda memiliki pertanyaan tentang itu? Saya agak bingung, karena saya pikir saya menjelaskan apa yang sekarang Anda tanyakan lagi di komentar. Pendekatan "antar-dalam varians" secara matematis setara dengan "pendekatan Bayesian" dengan asumsi kovarian yang sama. Anda dapat menganggap ini sebagai teorema matematika yang mengejutkan, jika Anda mau. Buktinya diberikan dalam buku Hastie yang tersedia secara online secara gratis, dan di beberapa buku teks pembelajaran mesin lainnya juga. Jadi saya tidak yakin apa artinya "satu-satunya cara otentik untuk melakukan LDA"; dua cara yang identik ini.

— amoeba

@loganecolss: Percayalah, mereka setara :) Ya, Anda harus dapat menurunkan proyeksi, tetapi Anda memerlukan asumsi tambahan dari matriks kovarians yang sama (seperti yang saya tulis dalam jawaban saya). Lihat komentar saya di bawah.

— amoeba

Saya hanya akan memberikan jawaban informal singkat dan merujuk Anda ke bagian 4.3 dari Elemen Pembelajaran Statistik untuk perinciannya.

Update: "The Elements" kebetulan penutup secara detail persis pertanyaan yang Anda minta di sini, termasuk apa yang Anda tulis di update Anda. Bagian yang relevan adalah 4.3, dan khususnya 4.3.2-4.3.3.

(2) Apakah dan bagaimana kedua pendekatan ini saling berhubungan?

$x$

$x$ $x$

Wawasan penting adalah bahwa persamaan disederhanakan jika seseorang mengasumsikan bahwa semua kelas memiliki kovarian identik [ Pembaruan: jika Anda mengasumsikannya selama ini, ini mungkin merupakan bagian dari kesalahpahaman] . Dalam hal itu batas keputusan menjadi linier, dan itulah sebabnya prosedur ini disebut analisis diskriminan linier, LDA.

Diperlukan beberapa manipulasi aljabar untuk menyadari bahwa dalam kasus ini rumus-rumusnya benar-benar menjadi setara dengan apa yang dikerjakan Fisher menggunakan pendekatannya. Pikirkan itu sebagai teorema matematika. Lihat buku teks Hastie untuk semua matematika.

(1) Bisakah kita melakukan pengurangan dimensi menggunakan pendekatan Bayesian?

Jika dengan "pendekatan Bayesian" yang Anda maksud berurusan dengan matriks kovarian yang berbeda di setiap kelas, maka tidak ada. Setidaknya itu tidak akan menjadi pengurangan dimensi linear (tidak seperti LDA), karena apa yang saya tulis di atas.

$\Sigma^{-1} \mu_k$ $k$ $\boldsymbol \Sigma^{-1} \mathbf{M}$ $\mathbf{M}$ $\mu_k$

— amuba
sumber

+1. Saya mungkin juga menautkan ke jawaban saya sendiri yang menyebutkan QDA stats.stackexchange.com/a/71571/3277 .

— ttnphns

X

$X$

Σ

$\boldsymbol \Sigma$

f_{k} (x)

$f_k(x)$

f_{k} (x)

$f_k(x)$

x

$x$

Σ^{- 1} μ_{k}

$\Sigma^{-1}\mu_k$

Saya memperbarui posting saya, menambahkan klip bagian 4.3

— alpukat