Apa artinya “berbagi parameter antara fitur dan kelas”

Saat membaca makalah ini ada garis yang mengatakan "pengklasifikasi linear tidak berbagi parameter antara fitur dan kelas." Apa arti dari pernyataan ini? Apakah itu berarti bahwa pengklasifikasi linier seperti regresi logistik membutuhkan fitur yang saling independen?

machine-learning logistic-regression multilabel-classification

— bhattacharjee joydeep
sumber

Saya akan mencoba menjawab pertanyaan ini melalui regresi logistik , salah satu pengklasifikasi linear paling sederhana.

Kasus paling sederhana dari regresi logistik adalah jika kita memiliki tugas klasifikasi biner ( $y \in\{0,1\})$ dan hanya satu fitur input ( $x \in R$ ). Dalam hal ini output dari regresi logistik adalah:

\hat{y} = σ (w \cdot x + b)

$\hat y = σ(w \cdot x + b)$ mana dan

keduanya skalar . Output dari model

sesuai dengan probabilitas bahwa

akan dari kelas

w

$w$

b

$b$

\hat{y} \in [0, 1]

$\hat y \in [0,1]$

x

$x$

1

$1$

Kami akan mencoba memecah frasa "classifier linear tidak berbagi parameter antara fitur dan kelas" menjadi dua bagian. Kami akan memeriksa kasus beberapa fitur dan beberapa kelas secara terpisah untuk melihat apakah regresi logistik berbagi parameter untuk semua tugas tersebut:

Apakah classifier linear berbagi parameter di antara fitur?

Dalam kasus ini, untuk setiap contoh, $y$ adalah skalar yang mengambil nilai biner (seperti sebelumnya), sedangkan $x$ adalah vektor dengan panjang $N$ (di mana $N$ adalah jumlah fitur). Di sini, outputnya adalah kombinasi linear dari fitur input (yaitu jumlah berbobot dari fitur ini ditambah bias).

\hat{y} = σ (\sum_{i}^{N} (w_{i} \cdot x_{i}) + b) o r σ (w \cdot x + b)

$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$ di mana dan adalah vektor dengan panjang . Produk menghasilkan skalar. Seperti yang Anda lihat dari atas, ada bobot terpisah untuk setiap fitur input dan bobot ini independen dengan segala cara. Dari sini kita dapat menyimpulkan bahwa tidak ada berbagi parameter di antara fitur .

x

$\mathbf x$

w

$\mathbf w$

N

$N$

x \cdot w

$\mathbf x \cdot \mathbf w$

w_{i}

$w_i$

x_{i}

$x_i$

Apakah pengklasifikasi linier membagikan parameter di antara kelas?

Dalam hal ini adalah skalar, namun $x$ $y$ adalah vektor dengan panjang (di mana adalah jumlah kelas). Untuk mengatasinya, regresi logistik pada dasarnya menghasilkan output terpisah untuk masing-masing kelasSetiap output adalah skalar dan sesuai dengan probabilitas milik kelas . $M$ $M$ $y_j$ $M$ $y_j \in [0,1]$ $x$ $j$

\hat{y} = w \cdot x + b, w h e r e \hat{y} = {\hat{y}}_{1}, {\hat{y}}_{2}, . . ., y_{M}

$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$

Cara termudah untuk memikirkan ini sebagai sederhana independen regresi logistik masing-masing dengan output: $M$

{\hat{y}}_{j} = σ (w_{j} \cdot x + b_{j})

$\hat y_j = σ(w_j \cdot x + b_j)$

Dari penjelasan di atas jelas bahwa tidak ada bobot yang dibagi di antara kelas yang berbeda .

multi-fitur dan multi-kelas :

Dengan menggabungkan dua case di atas kita akhirnya dapat mencapai case paling umum dari beberapa fitur dan beberapa kelas:

\hat{y} = σ (W \cdot x + b)

$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$ mana adalah vektor dengan ukuran ,

\hat{y}

$\mathbf{ \hat y}$

M

$M$

x

$\mathbf x$ adalah vektor dengan ukuran , adalah vektor dengan ukuran dan adalah matriks dengan ukuran .

N

$N$

b

$\mathbf b$

M

$M$

W

$W$

(N \times M)

$(N \times M)$

Dalam kasus apa pun, pengklasifikasi linier tidak membagikan parameter apa pun di antara fitur atau kelas .

Untuk menjawab pertanyaan kedua Anda, pengklasifikasi linier memang memiliki asumsi mendasar bahwa fitur harus independen , namun ini bukan yang dimaksudkan oleh penulis makalah ini.

— Djib2011
sumber

Penjelasan yang bagus. :)

— joydeep bhattacharjee