Bagaimana Naive Bayes a Linear Classifier?

Saya telah melihat utas lainnya di sini, tetapi saya pikir jawabannya tidak memuaskan pertanyaan yang sebenarnya. Apa yang terus saya baca adalah bahwa Naif Bayes adalah pengklasifikasi linier (mis: sini ) (sedemikian rupa sehingga menarik batas keputusan linier) menggunakan demonstrasi peluang log.

Namun, saya mensimulasikan dua awan Gaussian dan memasang batas keputusan dan mendapatkan hasilnya seperti itu (perpustakaan e1071 di r, menggunakan naiveBayes ()) 1- Hijau, 0 - Merah

Seperti yang dapat kita lihat, batas keputusan adalah non-linear. Apakah ini mencoba untuk mengatakan bahwa parameter (probabilitas kondisional) adalah kombinasi linear dalam ruang log daripada mengatakan classifier itu sendiri memisahkan data secara linear?

classification naive-bayes

— Kevin Pei
sumber

bagaimana Anda membuat batas keputusan? Saya curiga ini berkaitan dengan rutinitas pemasangan Anda dan bukan batas keputusan sebenarnya dari classifier. biasanya seseorang akan menghasilkan batas keputusan dengan menghitung keputusan di setiap titik di kuadran Anda.

— seanv507

Itulah yang saya lakukan, saya mengambil dua rentang X = [Min (x), Max (x)] dan Y = [Min (Y), Max (Y)] dengan jarak 0,1. Saya kemudian memasangkan semua titik data tersebut dengan classifier terlatih dan menemukan titik sedemikian rupa sehingga peluang log berada di antara -0,05 dan 0,05

— Kevin Pei

Jawaban:

Secara umum classifier naif Bayes tidak linier, tetapi jika faktor kemungkinan berasal dari keluarga eksponensial , classifier naif Bayes sesuai dengan classifier linier dalam ruang fitur tertentu. Inilah cara melihatnya. $p(x_i \mid c)$

Anda dapat menulis pengelompokan Bayes naif sebagai *

p (c = 1 ∣ x) = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right),$

di mana adalah fungsi logistik . Jika berasal dari keluarga eksponensial, kita dapat menuliskannya sebagai $\sigma$ $p(x_i \mid c)$

p (x_{i} ∣ c) = h_{i} (x_{i}) \exp (u_{i c}^{⊤} ϕ_{i} (x_{i}) - A_{i} (u_{i c})),

$p(x_i \mid c) = h_i(x_i)\exp\left(\mathbf{u}_{ic}^\top \phi_i(x_i) - A_i(\mathbf{u}_{ic})\right),$

dan karenanya

p (c = 1 ∣ x) = σ (\sum_{i} w_{i}^{⊤} ϕ_{i} (x_{i}) + b),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \mathbf{w}_i^\top \phi_i(x_i) + b \right),$

dimana

\begin{aligned} w_{i} & = u_{i 1} - u_{i 0}, \\ b & = \log \frac{p (c = 1)}{p (c = 0)} - \sum_{i} (A_{i} (u_{i 1}) - A_{i} (u_{i 0})) . \end{aligned}

$\begin{align} \mathbf{w}_i &= \mathbf{u}_{i1} - \mathbf{u}_{i0}, \\ b &= \log \frac{p(c = 1)}{p(c = 0)} - \sum_i \left( A_i(\mathbf{u}_{i1}) - A_i(\mathbf{u}_{i0}) \right). \end{align}$

Perhatikan bahwa ini mirip dengan regresi logistik - classifier linier - dalam ruang fitur yang ditentukan oleh . Untuk lebih dari dua kelas, kami secara analog mendapatkan regresi logistik multinomial (atau softmax) . $\phi_i$

Jika adalah Gaussian, maka dan kita harus memiliki $p(x_i \mid c)$ $\phi_i(x_i) = (x_i, x_i^2)$

\begin{aligned} w_{i 1} & = σ_{1}^{- 2} μ_{1} - σ_{0}^{- 2} μ_{0}, \\ w_{i 2} & = 2 σ_{0}^{- 2} - 2 σ_{1}^{- 2}, \\ b_{i} & = \log σ_{0} - \log σ_{1}, \end{aligned}

$\begin{align} w_{i1} &= \sigma_1^{-2}\mu_1 - \sigma_0^{-2}\mu_0, \\ w_{i2} &= 2\sigma_0^{-2} - 2\sigma_1^{-2}, \\ b_i &= \log \sigma_0 - \log \sigma_1, \end{align}$

dengan asumsi . $p(c = 1) = p(c = 0) = \frac{1}{2}$

* Berikut adalah cara menurunkan hasil ini:

\begin{aligned} p (c = 1 ∣ x) & = \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 1) p (c = 1) + p (x ∣ c = 0) p (c = 0)} \\ = \frac{1}{1 + \frac{p (x ∣ c = 0) p (c = 0)}{p (x ∣ c = 1) p (c = 1)}} \\ = \frac{1}{1 + \exp (- \log \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 0) p (c = 0)})} \\ = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}) \end{aligned}

$\begin{align} p(c = 1 \mid \mathbf{x}) &= \frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 1) p(c = 1) + p(\mathbf{x} \mid c = 0) p(c = 0)} \\ &= \frac{1}{1 + \frac{p(\mathbf{x} \mid c = 0) p(c = 0)}{p(\mathbf{x} \mid c = 1) p(c = 1)}} \\ &= \frac{1}{1 + \exp\left( -\log\frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 0) p(c = 0)} \right)} \\ &= \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right) \end{align}$

— Lucas
sumber

Terima kasih untuk derivasi, yang sekarang saya mengerti, dapatkah Anda menjelaskan notasi dalam persamaan 2 dan di bawah? (u, h (x_i), phi (x_i), dll) Apakah P (x_i | c) di bawah keluarga eksponensial hanya cukup mengambil nilai dari pdf?

— Kevin Pei

Ada berbagai cara Anda dapat mengekspresikan satu dan distribusi yang sama. Persamaan kedua adalah distribusi keluarga eksponensial dalam bentuk kanonik. Banyak distribusi adalah keluarga eksponensial (Gaussian, Laplace, Dirichlet, Bernoulli, binomial, hanya untuk beberapa nama), tetapi kepadatan / fungsi massa mereka biasanya tidak diberikan dalam bentuk kanonik. Jadi, pertama-tama Anda harus membuat ulang distribusi. Tabel ini memberi tahu Anda cara menghitung (parameter alami) dan (statistik yang memadai) untuk berbagai distribusi: en.wikipedia.org/wiki/Exponential_family#Table_of_distributions

u

$\mathbf{u}$

ϕ

$\phi$

— Lucas

Perhatikan poin penting yang . Apa artinya ini adalah bahwa pengklasifikasi linier adalah kombinasi linear dari bobot dan fungsi yang berpotensi non-linear dari fitur-fiturnya! Jadi, ke titik poster asli, sebidang datapoints mungkin tidak menunjukkan bahwa mereka dipisahkan oleh garis.

ϕ (x) = (x, x^{2})

$\phi(x) = (x, x^2)$

w

$\mathbf{w}$

— RMurphy

Saya menemukan jawaban ini menyesatkan: seperti yang ditunjukkan dalam komentar saja, dan jawaban tepat di bawah, Gaussian naif Bayes tidak linear dalam ruang fitur asli, tetapi dalam transformasi non-linear ini. Oleh karena itu bukan classifier linier konvensional.

— Gael Varoquaux

mengapa adalah Gaussian, lalu ? Saya pikir statistik untuk distribusi Gaussian harus .

p (x_{i} | c)

$p(x_i|c)$

ϕ_{i} (x_{i}) = (x_{i}, x_{i}^{2})

$\phi_i(x_i)=(x_i,x_i^2)$

T (x)

$T(x)$

x / σ

$x/\sigma$

— Naomi

Ini linear hanya jika matriks varian bersyarat kelas adalah sama untuk kedua kelas. Untuk melihat ini tuliskan ransum dari pos logaror dan Anda hanya akan mendapatkan fungsi linier darinya jika varians yang sesuai adalah sama. Kalau tidak, itu kuadratik.

— kapak
sumber

Saya ingin menambahkan satu poin tambahan: alasan untuk beberapa kebingungan bertumpu pada apa artinya melakukan "klasifikasi Naif Bayes".

Di bawah topik luas "Analisis Diskriminan Gaussian (GDA)" ada beberapa teknik: QDA, LDA, GNB, dan DLDA (kuadratik DA, linear DA, baye naif gaussian, LDA diagonal). [DIPERBARUI] LDA dan DLDA harus linier di ruang prediksi yang diberikan. (Lihat, misalnya, Murphy , 4.2, hal. 101 untuk DA dan hal. 82 untuk NB. Catatan: GNB belum tentu linier. NB diskrit (yang menggunakan distribusi multinomial di bawah tenda) adalah linier. Anda juga dapat memeriksa Duda , Hart & Bangau bagian 2.6). QDA adalah kuadrat seperti yang ditunjukkan oleh jawaban lain (dan yang menurut saya adalah apa yang terjadi dalam grafik Anda - lihat di bawah).

Teknik-teknik ini membentuk sebuah kisi dengan seperangkat batasan bagus pada "matriks kovarians kelas-bijaksana" : $\Sigma_c$

: arbitrary: ftr arbitrary. cov. matriks per kelas $\Sigma_c$
LDA: : shared cov. matriks (lebih dari kelas) $\Sigma_c = \Sigma$
GNB: : cov diagonal bijaksana kelas. matriks (asumsi ind. dalam model diagonal cov. matrix) $\Sigma_c = {diag}_c$ $\rightarrow$
DLDA: : shared & diagonal cov. matriks $\Sigma_c = diag$

Sementara dokumen untuk e1071 mengklaim bahwa ia mengasumsikan independensi kelas-kondisional (yaitu, GNB), saya curiga bahwa itu sebenarnya melakukan QDA. Beberapa orang mengacaukan "Bayes naif" (membuat asumsi independensi) dengan "aturan klasifikasi Bayesian sederhana". Semua metode GDA berasal dari nanti; tetapi hanya GNB dan DLDA yang menggunakan yang pertama.

Peringatan besar, saya belum membaca kode sumber e1071 untuk mengkonfirmasi apa yang dilakukannya.

— MrDrFenner
sumber