Mengapa ada dua formulasi / notasi kerugian logistik yang berbeda?

Saya telah melihat dua jenis formulasi kehilangan logistik. Kita dapat dengan mudah menunjukkan bahwa keduanya identik, satu-satunya perbedaan adalah definisi label . $y$

Formulasi / notasi 1, : $y \in \{0, +1\}$

L (y, β^{T} x) = - y \log (p) - (1 - y) \log (1 - p)

$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$

di mana , di mana fungsi logistik memetakan angka nyata hingga 0,1 interval. $p=\frac 1 {1+\exp(-\beta^Tx)}$ $\beta^T x$

Formulasi / notasi 2, $y \in \{-1, +1\}$ :

L (y, β^{T} x) = \log (1 + \exp (- y \cdot β^{T} x))

$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$

Memilih notasi seperti memilih bahasa, ada pro dan kontra untuk menggunakan satu atau lain. Apa pro dan kontra untuk kedua notasi ini?

Upaya saya untuk menjawab pertanyaan ini adalah sepertinya komunitas statistik menyukai notasi pertama dan komunitas ilmu komputer menyukai notasi kedua.

Notasi pertama dapat dijelaskan dengan istilah "probabilitas", karena fungsi logistik mengubah angka riil $\beta^Tx$ ke interval 0,1.
Dan notasi kedua lebih ringkas dan lebih mudah dibandingkan dengan kehilangan engsel atau kehilangan 0-1.

Apakah saya benar? Ada wawasan lain?

— Haitao Du
sumber

Saya yakin ini sudah diminta beberapa kali. Misalnya stats.stackexchange.com/q/145147/5739

— StasK

Mengapa Anda mengatakan notasi kedua lebih mudah dibandingkan dengan kehilangan engsel? Hanya karena itu didefinisikan pada alih-alih , atau yang lainnya?

{- 1, 1}

$\{-1, 1\}$

{0, 1}

$\{0, 1\}$

— shadowtalker

Saya agak suka simetri bentuk pertama, tetapi bagian liniernya terkubur cukup dalam, jadi bisa jadi sulit untuk dikerjakan.

— Matthew Drury

@ssdecontrol silakan periksa angka ini, cs.cmu.edu/~yandongl/loss.html di mana sumbu x , dan sumbu y adalah nilai kerugian. Definisi seperti itu mudah untuk dibandingkan dengan kehilangan 01, kehilangan engsel, dll.

- y \cdot β^{T} x

$-y\cdot \beta^Tx$

— Haitao Du

Jawaban:

Versi singkat

iya nih
iya nih

Versi panjang

Yang menyenangkan tentang pemodelan matematika adalah fleksibel. Ini memang fungsi kerugian yang setara, tetapi mereka berasal dari model mendasar data yang sangat berbeda.

Formula 1

Notasi pertama berasal dari model probabilitas Bernoulli untuk , yang secara konvensional didefinisikan pada . Dalam model ini, hasil / label / kelas / prediksi diwakili oleh variabel random yang mengikuti distribusi. Karena itu kemungkinannya adalah: $y$ $\{0, 1\}$ $Y$ $\mathrm{Bernoulli}(p)$

P (Y = y | p) = L (p; y) = p^{y} (1 - p)^{1 - y} = {\begin{cases} 1 - p & y = 0 \\ p & y = 1 \end{cases}

$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$

untuk . Menggunakan 0 dan 1 sebagai nilai indikator memungkinkan kita mengurangi fungsi piecewise di paling kanan untuk ekspresi ringkas. $p\in[0, 1]$

Seperti yang telah Anda tunjukkan, Anda dapat menautkan $Y$ ke matriks data input dengan membiarkan . Dari sini, manipulasi aljabar langsung menunjukkan bahwa sama dengan pertama dalam pertanyaan Anda (petunjuk: ). Jadi meminimalkan log-loss lebih dari $x$ $\operatorname{logit} p = \beta^T x$ $\log \mathcal L(p;y)$ $L(y, \beta^Tx)$ $(y - 1) = - (1 - y)$ setara dengan estimasi kemungkinan maksimum model Bernoulli. $\{0, 1\}$

Formulasi ini juga merupakan kasus khusus dari model linier umum , yang dirumuskan sebagai untuk fungsi dapat dibalik, dapat dibedakan dan distribusi dalam keluarga eksponensial . $Y \sim D(\theta),\ g(Y) = \beta^T x$ $g$ $D$

Formula 2

Sebenarnya .. Saya tidak terbiasa dengan Formula 2. Namun, mendefinisikan pada adalah standar dalam perumusan mesin vektor dukungan . Menyesuaikan SVM sesuai dengan memaksimalkan $y$ $\{-1, 1\}$

maks ({0, 1 - y β^{T} x}) + λ ‖ β ‖^{2} .

$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$

ℓ (y, β) + λ ‖ β ‖^{2}

$\ell(y, \beta) + \lambda \|\beta\|^2$

ℓ

$\ell$

λ

$\lambda$

β

$\beta$

ℓ

$\ell$

L (y, β^{T} x)

$L(y, \beta^Tx)$

— shadowtalker
sumber

p^{y} (1 - p)^{1 - y 1 - y}

$p^y(1 - p)^{\pmb{1 - y}}$

Saya pikir @ssdecontrol punya jawaban yang sangat bagus. Saya hanya ingin menambahkan beberapa komentar untuk rumus 2 untuk pertanyaan saya sendiri.

L (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$

Alasan orang menyukai formulasi ini adalah karena sangat ringkas, dan menghilangkan "detail interpretasi probabilitas".

$\hat y$ $y$ $\hat y$

L_{01} (y, \hat{y}) = I [y \cdot \hat{y} > 0] L_{hinge} (y, \hat{y}) = (1 - y \cdot \hat{y})_{+} L_{logistic} (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$

$y \cdot \hat y$ $\hat y$ $\beta^Tx$

— Haitao Du
sumber

Saya mengerti maksud Anda tentang perbandingan yang mudah

— shadowtalker