Bisakah jaringan saraf menghitung

Dalam semangat lelucon Tensorflow Fizz Buzz dan XOr yang terkenal, saya mulai berpikir, apakah mungkin merancang jaringan saraf yang mengimplementasikan fungsi $y = x^2$ ?

Diberikan beberapa representasi dari angka (misalnya sebagai vektor dalam bentuk biner, sehingga angka 5tersebut diwakili sebagai [1,0,1,0,0,0,0,...]), jaringan saraf harus belajar untuk mengembalikan kuadratnya - 25 dalam kasus ini.

Jika saya bisa menerapkan $y=x^2$ , saya mungkin bisa mengimplementasikan $y=x^3$ dan umumnya setiap polinomial x, dan kemudian dengan seri Taylor saya bisa memperkirakan $y=\sin(x)$ , yang akan menyelesaikan masalah Fizz Buzz - jaringan saraf yang dapat menemukan sisa divisi.

Jelas, hanya bagian linier NNs tidak akan dapat melakukan tugas ini, jadi jika kita bisa melakukan perkalian, itu akan terjadi berkat fungsi aktivasi.

Bisakah Anda menyarankan ide atau membaca tentang masalah?

Jaringan saraf juga disebut sebagai aproksimasi fungsi universal yang didasarkan pada teorema aproksimasi fungsi universal . Ini menyatakan bahwa:

Dalam teori matematika jaringan saraf tiruan, teorema aproksimasi universal menyatakan bahwa jaringan umpan-maju dengan lapisan tersembunyi tunggal yang mengandung jumlah neuron yang terbatas dapat memperkirakan fungsi kontinu pada subset kompak Rn, dengan asumsi ringan pada fungsi aktivasi

$y = x^2$

Anda dapat menemukan pelajaran luar biasa di sini dengan contoh buku catatan.

Juga, karena kemampuan seperti itu JST dapat memetakan hubungan yang kompleks misalnya antara gambar dan labelnya.

$f(x)=x^2$$\mathbb{R}^n$

$\mathbb{R}^n$$\mathbb{R}^n$$x$$f(x)=x^2$$\mathbb{R}$$f(x)=x^2$$x\in \mathbb{R}$

$\sin(x)$$x=0$$x\to 10000$