Bias regresi Softmax dan probabilitas sebelumnya untuk kelas yang tidak sama

Saya menggunakan regresi Softmax untuk masalah klasifikasi multi-kelas. Saya tidak memiliki probabilitas sebelumnya yang sama untuk masing-masing kelas.

Saya tahu dari Regresi Logistik (regresi softmax dengan 2 kelas) bahwa probabilitas kelas sebelumnya secara implisit ditambahkan ke bias ( ). $\log(p_0/p_1)$

Biasanya yang saya lakukan adalah menghapus secara manual istilah ini dari bias.

Pertanyaan saya adalah, apa istilah yang sesuai dalam bias regresi softmax?

Terima kasih.

logistic prior unbalanced-classes

— Ran
sumber

Sejauh yang saya tahu, pembenaran untuk inisialisasi softmax bias agak bergelombang. Ingat regresi softmax adalah estimasi kemungkinan maksimum (log) untuk , dengan modelnya sebagai berikut: Dengan inisialisasi bias, niat kami adalah untuk menemukan nilai yang baik dengan mana mulai tinggi. Dengan asumsi bahwa kita menginisialisasi dengan nilai mendekati-0 kecil dan itu $W,\textbf{b}$

y \sim Cat (σ (W x + b)); σ_{i} (z) = \frac{\exp z_{i}}{\sum_{j} \exp z_{j}} .

$\DeclareMathOperator{cat}{Cat} \newcommand{\norm}[1]{\left\| #1 \right\|} \newcommand{vsigma}{{\boldsymbol\sigma}} \newcommand{vx}{{\textbf{x}}} \newcommand{vb}{{\textbf{b}}} \newcommand{vz}{{\textbf{z}}} y\sim\cat(\vsigma(W\vx+\vb)); \;\;\;\sigma_i(\vz)=\frac{\exp z_i}{\sum_j\exp z_j}.$

b

$\vb$

p (x, y | W, b) \propto p (y | W, b, x)

$p(\vx, y|W,\vb)\propto p( y|W,\vb,\vx)$

W

$W$

y

$y$ adalah label dalam , jadi: Menambahkan kemungkinan log untuk semua contoh yang diasumsikan independen , a inisialisasi yang baik untuk akan meminimalkan kemungkinan total perkiraan log data: dari wrt di atas adalah , dengan vektor jumlah setiap kelas. Fungsi di atas juga cekung,

[K]

$[K]$

W x \approx 0

$W\vx\approx 0$

\log p (y | W, b, x) = \sum_{k = 1}^{K} 1_{y = k} \log σ_{k} (W x + b) \approx \log σ_{y} (b)

$\log p( y|W,\vb,\vx)=\sum_{k=1}^K1_{y=k}\log \sigma_k(W\vx + \vb)\approx\log\sigma_y(\vb)$

{(x_{i}, y_{i})}_{i = 1}^{n}

$\{(\vx_i,y_i)\}_{i=1}^n$

b

$\vb$

\sum_{i = 1}^{n} \log σ_{y_{i}} (b) = \sum_{i = 1}^{n} b_{y_{i}} - n \log \sum_{k = 1}^{K} \exp b_{k}

$\newcommand{vc}{{\textbf{c}}} \sum_{i=1}^n\log\sigma_{y_i}(\vb)=\sum_{i=1}^nb_{y_i}-n\log\sum_{k=1}^K\exp b_k$

b

$\vb$

c - n σ (b)

$\vc-n\vsigma(\vb)$

c \in N^{K}

$\vc\in\mathbb{N}^K$ lihat pertanyaan di sini tentang smooth max sebagai bukti.

Dua fakta di atas menunjukkan maksimum tersedia setiap kali . Ini, pada gilirannya, menunjukkan inisialisasi yang layak untuk istilah ke- dari bias memang , proporsi contoh label dalam set pelatihan (alias statistik marjinal). Anda mungkin melihat bahwa Anda dapat menambahkan konstanta apa pun ke dan mencapai bias memaksimalkan kemungkinan lainnya juga; Namun, skala besar akan mendapatkan cara belajar . Hubungan dengan bias logistik tidak kebetulan --- tutorial ini membahas kesamaannya. $\vsigma(\vb)=\vc/n$ $i$ $b_i$ $\vb$ $\log p_i$ $i$ $\vb$ $W$

— VF1
sumber