Apakah mean-squared error selalu cembung dalam konteks jaringan saraf?

9

Berbagai sumber yang saya sebutkan menyebutkan bahwa MSE itu hebat karena cembung. Tapi saya tidak mengerti caranya, terutama dalam konteks jaringan saraf.

Katakanlah kita memiliki yang berikut ini:

$X$ : dataset pelatihan
$Y$ : target
$\Theta$ : himpunan parameter model $f_\Theta$ (model jaringan saraf dengan non-linearitas)

Kemudian:

MSE (Θ) = (f_{Θ} (X) - Y)^{2}

$\operatorname{MSE}(\Theta) = (f_\Theta(X) - Y)^2$

Mengapa fungsi kerugian ini selalu cembung? Apakah ini bergantung pada $f_\Theta(X)$ ?

— pengguna74211
sumber

1

Jawaban singkatnya: MSE cembung pada input dan parameternya sendiri. Tetapi pada jaringan saraf arbitrer tidak selalu cembung karena adanya non-linearitas dalam bentuk fungsi aktivasi. Sumber untuk jawaban saya ada di sini .

— varsh
sumber

1

Sifat busung

$f(x)$ $x ∈ Χ$ $x_1 ∈ Χ$ $x_2 ∈ Χ$ $0 ≤ λ ≤ 1$
$f (λ x_{1} + (1 - λ) x_{2}) \leq λ f (x_{1}) + (1 - λ) f (x_{2}) .$ $f(λ x_1 + (1 − λ) x_2) ≤ λf(x_1) + (1 − λ) f (x_2).$

Dapat dibuktikan bahwa cembung memiliki satu minimum global. Minimum global yang unik menghilangkan jebakan yang dibuat oleh minimum lokal yang dapat terjadi dalam algoritma yang berupaya mencapai konvergensi pada minimum global, seperti minimisasi fungsi kesalahan. $f(x)$

Meskipun fungsi kesalahan dapat 100% andal dalam semua konteks kontinu, linear, dan banyak konteks non-linear, itu tidak berarti konvergensi pada minimum global untuk semua kemungkinan konteks non-linear.

Mean Square Error

Diberikan fungsi menggambarkan perilaku sistem ideal dan model sistem (di mana adalah vektor parameter, matriks, kubus, atau hypercube dan ), dibuat secara rasional atau melalui konvergensi (Seperti dalam pelatihan neural net), fungsi mean square error (MSE) dapat direpresentasikan sebagai berikut. $s(x)$ $a(x, p)$ $p$ $1 ≤ n ≤ N$

e (β) := N^{- 1} \sum_{n} [a (x_{n}) - s (x_{n})]^{2}

$e(β) := N^{-1} \sum_{n} [a(x_n) − s(x_n)]^2$

Bahan yang Anda baca mungkin tidak mengklaim bahwa atau adalah cembung terhadap , tetapi bahwa cembung sehubungan dengan dan apa pun itu. Pernyataan selanjutnya ini dapat dibuktikan untuk setiap dan berkelanjutan . $a(x, p)$ $s(x)$ $x$ $e(β)$ $a(x, p)$ $s(x)$ $a(x, p)$ $s(x)$

Membingungkan Algoritma Konvergensi

Jika pertanyaannya adalah apakah spesifik dan metode untuk mencapai yang mendekati dalam margin konvergensi MSE yang wajar dapat dikacaukan, jawabannya adalah, "Ya." Itu sebabnya MSE bukan satu-satunya model kesalahan. $a(x, p)$ $s(x)$ $a(x, p)$

Ringkasan

Cara terbaik meringkas adalah bahwa harus didefinisikan atau dipilih dari satu set model kesalahan stok cembung berdasarkan pada pengetahuan berikut. $e(β)$

Properti sistem yang diketahui $s(x)$
Definisi model aproksimasi $a(x, p)$
Tensor digunakan untuk menghasilkan keadaan berikutnya dalam urutan konvergen

Himpunan model kesalahan stok cembung tentu termasuk model MSE karena kesederhanaan dan penghematan komputasi.

— FauChristian
sumber

Jadi jawaban singkatnya adalah MSE. Theta selalu cembung. Meskipun Feedforard (X, Theta) yang mungkin non-cembung?

— user74211

Nah, @ user74211, komentar itu sebenarnya tidak menjawab pertanyaan. Pertanyaan yang secara khusus diajukan BAGAIMANA kesalahan persegi berarti selalu bisa cembung jika fungsi yang tidak berlaku. Komentar Anda adalah himpunan bagian dari pernyataan dalam pertanyaan, tanpa penjelasan yang dicari.

— FauChristian