Dalam Algoritma SVM, mengapa vektor w ortogonal dengan hyperplane pemisah?

13

Saya seorang pemula dalam Pembelajaran Mesin. Dalam SVM, hyperplane pemisah didefinisikan sebagai . Mengapa kita katakan vektor ortogonal ke hyperplane yang memisahkan? $y = w^T x + b$ $w$

machine-learning svm

— Chong Zheng
sumber

3

Jawaban untuk pertanyaan serupa (untuk jaringan saraf) ada di sini .

— bogatron

@ Bogatron - Saya setuju dengan Anda sepenuhnya. Tapi yang saya hanya jawaban spesifik SVM .

— Programmer berjudul

2

Kecuali itu tidak. Jawaban Anda benar tetapi tidak ada yang spesifik untuk SVM (juga seharusnya tidak ada).

hanyalah persamaan vektor yang mendefinisikan hyperplane.

w^{T} x = b

$w^{T}x=b$

— bogatron

10

Geometris, vektor w diarahkan orthogonal ke jalur yang didefinisikan oleh . Hal ini dapat dipahami sebagai berikut: $w^{T} x = b$

Pertama ambil . Sekarang jelas bahwa semua vektor, , dengan menghilang produk batin dengan memuaskan persamaan ini, yaitu semua vektor ortogonal untuk w memuaskan persamaan ini. $b = 0$ $x$ $w$

Sekarang terjemahkan hyperplane dari asal ke vektor a. Persamaan untuk bidang sekarang menjadi: , yaitu kita menemukan bahwa untuk offset , yang merupakan proyeksi dari vektor ke vektor . $(x − a)^{T} w = 0$ $b = a^{T} w$ $a$ $w$

Tanpa kehilangan sifat umum maka kita dapat memilih tegak lurus terhadap bidang, dalam hal ini panjang yang mewakili jarak ortogonal terpendek antara titik asal dan bidang datar. $\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

Karenanya vektor dikatakan orthogonal terhadap hyperplane pemisah. $w$

— program tanpa judul
sumber

4

Alasan mengapa adalah normal untuk hyper-plane adalah karena kami mendefinisikannya seperti itu: $w$

$P_0$ $P_0 = x_0, y_0, z_0$ $(0,0,0)$ $<x_0,y_0,z_0>$ $P (x,y,z)$ $P$ $P_0$

\vec{P} - \vec{P_{0}} =< x - x_{0}, y - y_{0}, z - z_{0} >

$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$

$\hat{n}$

\hat{n} ∙ (\vec{P} - \vec{P_{0}}) = 0

$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$

\hat{n} ∙ \vec{P} - \hat{n} ∙ \vec{P_{0}} = 0

$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$

- \hat{n} ∙ \vec{P_{0}}

$-\hat{n} \bullet \vec{P_0}$

b

$b$

\hat{n}

$\hat{n}$

w

$w$

\vec{P}

$\vec{P}$

x

$x$

w

$w$

— Shehryar Malik
sumber

2

$w^Tx + b = 0$ $x_a$ $x_b$

w^{T} x_{a} + b = 0 w^{T} x_{b} + b = 0

$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$

$w^T.(x_a - x_b) = 0$ $x_a - x_b$ $x_b$ $x_a$ $w^T.(x_a - x_b)$ $w^T$ $x_a - x_b$

— adityagaydhani
sumber

0

Menggunakan definisi aljabar vektor yang ortogonal ke hyperplane:

$\forall \ x_1, x_2$

w^{T} (x_{1} - x_{2}) = (w^{T} x_{1} + b) - (w^{T} x_{2} + b) = 0 - 0 = 0 ◻ .

$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$

— Indominus
sumber