Bagaimana cara menghitung bobot kriteria Fisher?

Saya mempelajari pengenalan pola dan pembelajaran mesin, dan saya mengalami pertanyaan berikut.

Pertimbangkan masalah klasifikasi dua kelas dengan probabilitas kelas sebelumnya yang sama

$$P(D_1)=P(D_2)= \frac{1}{2}$$

dan distribusi instance di setiap kelas yang diberikan oleh

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

Bagaimana cara menghitung bobot kriteria Fisher?

Pembaruan 2: Berat terhitung yang disediakan oleh buku saya adalah: .$W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$

Pembaruan 3: Seperti yang ditunjukkan oleh @xeon, saya mengerti bahwa saya harus menentukan garis proyeksi untuk diskriminan Fisher.

Pembaruan 4: Misalkan menjadi arah garis proyeksi, maka metode diskriminan linier Fisher menemukan bahwa terbaik adalah yang di mana fungsi kriteria dimaksimalkan. Tantangan yang tersisa adalah bagaimana kita bisa mendapatkan vektor numerik ?W $W$$W$$W$

Mengikuti makalah yang Anda tautkan (Mika et al., 1999) , kita harus menemukan yang memaksimalkan apa yang disebut generient Rayleigh quotient ,$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

di mana untuk berarti dan covariances ,C 1 , C$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

Solusinya dapat ditemukan dengan memecahkan masalah nilai eigen umum dengan komputasi pertama nilai eigen dengan menyelesaikan dan kemudian menyelesaikan untuk vektor eigen . Dalam kasus Anda, The penentu matriks 2x2 ini dapat dihitung dengan tangan.λdet( S B -λ S W )=0wSB-λSW=

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$

Vektor eigen dengan nilai eigen terbesar memaksimalkan hasil Rayleigh. Alih-alih melakukan perhitungan dengan tangan, saya memecahkan masalah nilai eigen umum dengan menggunakan Python scipy.linalg.eigdan mendapatkan yang berbeda dari solusi yang Anda temukan di buku Anda. Di bawah ini saya merencanakan hyperplane optimal dari vektor bobot yang saya temukan (hitam) dan pesawat terbang vektor bobot yang ditemukan di buku Anda (merah).

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

Mengikuti Duda et al. (Pattern CLassification) yang memiliki solusi alternatif untuk @lucas dan dalam hal ini memberikan solusi komputasi yang sangat mudah dengan tangan. (Semoga solusi alternatif ini membantu !! :))

Dalam dua kelas LDA tujuannya adalah:

$\frac{w^TS_Bw}{w^TS_Ww}$ yang hanya berarti bahwa meningkatkan varians antara kelas dan mengurangi varians dalam kelas.

di mana dan , di sini adalah matriks kovarians dan masing-masing adalah sarana kelas 1 dan 2.$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

Solusi rient quotient umum ini adalah masalah nilai eigen umum.

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

Formulasi di atas memiliki solusi bentuk tertutup. adalah matriks peringkat 1 dengan basis jadi yang dapat normlizd untuk mendapatkan jawabannya.$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

Saya baru saja menghitung dan mendapat [0,5547; 0,8321].$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Ref: Klasifikasi Pola oleh Duda, Hart, Stork

$\mathbf{SOLUTION 2:}$

Atau, itu bisa diselesaikan dengan menemukan vektor eigen untuk masalah nilai eigen umum. $S_Bw = \lambda S_Ww$

Polinomial dalam lambda dapat dibentuk oleh dan solusi untuk polinomial tersebut akan menjadi nilai eigen untuk . Sekarang katakanlah Anda mendapat satu set nilai eigen sebagai akar dari polinomial. Sekarang gantikan dan dapatkan vektor eigen terkait sebagai solusi untuk sistem persamaan linear . Dengan melakukan ini untuk setiap i Anda dapat memperoleh satu set vektor dan itu adalah satu set vektor eigen sebagai solusi.$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$ , Jadi nilai eigen adalah akar ke polinomial .$6\lambda^2 - 80\lambda$

Jadi 0 dan 40/3 adalah dua solusi. Untuk LDA, vektor eigen yang sesuai dengan nilai eigen tertinggi adalah solusinya.$\lambda=$

Solusi untuk sistem persamaan dan$(S_B - \lambda_i S_W)w_i = 0$$\lambda_i = 40/3$

yang ternyata$\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

Solusi untuk sistem persamaan di atas adalah yang sama dengan solusi sebelumnya.$\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Atau, kita dapat mengatakan bahwa terletak pada ruang nol dari .[ - 72 48 48 - 32$\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$$\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

Untuk LDA dua kelas, vektor eigen dengan nilai eigen tertinggi adalah solusinya. Secara umum, untuk LDA kelas C, vektor eigen C - 1 pertama hingga nilai eigen C - 1 tertinggi merupakan solusi.

Video ini menjelaskan cara menghitung vektor eigen untuk masalah nilai eigen sederhana. ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

Berikut ini adalah contohnya. http://www.sosmath.com/matrix/eigen2/eigen2.html

LDA multi-kelas: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

Menghitung Null Space dari sebuah matriks: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix