Mengapa fungsi biaya jaringan saraf non-cembung?

Ada utas serupa di sini ( Fungsi biaya jaringan saraf adalah non-cembung? ) Tapi saya tidak dapat memahami poin-poin dalam jawaban di sana dan alasan saya untuk bertanya lagi berharap ini akan menjelaskan beberapa masalah:

Jika saya menggunakan jumlah fungsi biaya selisih kuadrat, saya akhirnya mengoptimalkan sesuatu dari bentuk mana adalah nilai label aktual selama pelatihan fase dan adalah nilai label yang diprediksi. Karena ini memiliki bentuk persegi, ini harusnya merupakan fungsi biaya cembung. Jadi apa yang bisa membuatnya menjadi non-cembung di NN? $\Sigma_{i=1}^{N}(y_i - \hat{y_i})^2$ $y$ $\hat{y}$

— Luca
sumber

sepele, itu karena , dan secara umum tidak ada jaminan bahwa fungsi sewenang-wenang akan menjadi cembung

\hat{y} = f (x)

$\hat{y} = f(x)$

— generic_user

$\sum_i (y_i- \hat y_i)^2$ memang cembung di . Tetapi jika itu mungkin tidak cembung dalam , yang merupakan situasi dengan sebagian besar model non-linear, dan kami benar-benar peduli tentang konveksitas dalam karena itulah yang kami optimalkan pada fungsi biaya berakhir. $\hat y_i$ $\hat y_i = f(x_i ; \theta)$ $\theta$ $\theta$

Sebagai contoh, mari kita pertimbangkan sebuah jaringan dengan 1 lapisan tersembunyi unit dan lapisan output linier: fungsi biaya kami adalah mana dan (dan saya menghilangkan istilah bias untuk kesederhanaan). Ini tidak harus cembung bila dilihat sebagai fungsi dari (tergantung pada : jika fungsi aktivasi linier digunakan maka ini masih bisa cembung). Dan semakin dalam jaringan kita, semakin sedikit hal-hal yang cembung. $N$

g (α, W) = \sum_{i} {(y_{i} - α_{i} σ (W x_{i}))}^{2}

$g(\alpha, W) = \sum_i \left(y_i - \alpha_i\sigma(Wx_i)\right)^2$

x_{i} \in R^{p}

$x_i \in \mathbb R^p$

W \in R^{N \times p}

$W \in \mathbb R^{N \times p}$

(α, W)

$(\alpha, W)$

σ

$\sigma$

Sekarang tentukan fungsi oleh mana adalah dengan atur ke dan atur ke . Ini memungkinkan kita untuk memvisualisasikan fungsi biaya karena dua bobot ini berbeda-beda. $h : \mathbb R \times \mathbb R \to \mathbb R$ $h(u, v) = g(\alpha, W(u, v))$ $W(u,v)$ $W$ $W_{11}$ $u$ $W_{12}$ $v$

Gambar di bawah menunjukkan ini untuk fungsi aktivasi sigmoid dengan , , dan (jadi arsitektur yang sangat sederhana). Semua data (baik dan ) adalah iid , seperti halnya bobot yang tidak bervariasi dalam fungsi plot. Anda dapat melihat kurangnya konveksitas di sini. $n=50$ $p=3$ $N=1$ $x$ $y$ $\mathcal N(0,1)$

Inilah kode R yang saya gunakan untuk membuat gambar ini (meskipun beberapa parameter berada pada nilai yang sedikit berbeda sekarang daripada ketika saya membuatnya sehingga mereka tidak akan sama):

costfunc <- function(u, v, W, a, x, y, afunc) {
  W[1,1] <- u; W[1,2] <- v
  preds <- t(a) %*% afunc(W %*% t(x))
  sum((y - preds)^2)
}

set.seed(1)
n <- 75  # number of observations
p <- 3   # number of predictors
N <- 1   # number of hidden units


x <- matrix(rnorm(n * p), n, p)
y <- rnorm(n)  # all noise
a <- matrix(rnorm(N), N)
W <- matrix(rnorm(N * p), N, p)

afunc <- function(z) 1 / (1 + exp(-z))  # sigmoid

l = 400  # dim of matrix of cost evaluations
wvals <- seq(-50, 50, length = l)  # where we evaluate costfunc
fmtx <- matrix(0, l, l)
for(i in 1:l) {
  for(j in 1:l) {
    fmtx[i,j] = costfunc(wvals[i], wvals[j], W, a, x, y, afunc)
  }
}

filled.contour(wvals, wvals, fmtx,plot.axes = { contour(wvals, wvals, fmtx, nlevels = 25, 
                                           drawlabels = F, axes = FALSE, 
                                           frame.plot = FALSE, add = TRUE); axis(1); axis(2) },
               main = 'NN loss surface', xlab = expression(paste('W'[11])), ylab = expression(paste('W'[12])))

— jld
sumber

Jawaban yang fantastis; Saya pikir terlepas dari fungsi aktivasi, kita selalu dapat menemukan beberapa permutasi dari bobot / unit tersembunyi yang umumnya berarti non-konveksitas

— information_interchange

@information_interchange terima kasih, dan saya pikir Anda memang benar, jawaban yang terkait dengan OP juga berbicara tentang pendekatan itu

— jld

jawaban yang bagus, tetapi jika kita menggunakan MAE dan bukannya MSE, saya tidak mengerti mengapa itu menjadi non-cembung, komposisi fungsi cembung dan non-penurunan adalah cembung, jadi jika kita memiliki MAE, kita masih harus memiliki fungsi cembung tentang W.

— Panda