Apakah proses Gaussian (regresi) memiliki sifat aproksimasi universal?

Dapatkah fungsi kontinu pada [a, b], di mana a dan b adalah bilangan real, diperkirakan atau ditutup secara sewenang-wenang ke fungsi (dalam beberapa norma) oleh Proses Gaussian (Regresi)?

gaussian-process approximation

— Michael D
sumber

Lebih spesifik!

— Henry.L

Iya! Sebenarnya, itu tergantung pada fungsi kovarians, tetapi bagi sebagian dari mereka memang demikian . Dustin Tran et al. juga membuktikan teorema aproksimasi universal dalam kerangka Bayesian untuk Proses Gaussian Variasional , yang merupakan model yang lebih kompleks karena fungsi melengkung, tetapi sangat terkait erat. Saya akan menulis jawaban jika pertanyaan dibuka kembali. Catatan PS bahwa perkiraan universal, seperti untuk Neural Networks, hanya berlaku atas satu set yang kompak, bukan atas semua .

R^{p}

$\mathbb{R}^p$

— DeltaIV

Pernyataan "perkiraan universal" dalam pertanyaan ini tampaknya memiliki sedikit atau tidak ada hubungannya dengan pernyataan dalam artikel Wikipedia yang direferensikan. Memang, bahkan tidak jelas bagaimana seseorang dapat memperkirakan suatu fungsi dengan suatu proses . Bisakah Anda menguraikan apa yang ingin Anda tanyakan?

— whuber

@whuber Meskipun teknis mungkin sedikit longgar, saya pikir pertanyaannya pada dasarnya berarti "Untuk fungsi input , apakah ada realisasi GP tertentu yang sewenang-wenang dekat dengan (dalam beberapa norma)?" Atau mungkin, "Ketika kita mengamati banyak titik sampel dari fungsi , dan melakukan inferensi GP standar dengan data itu, apakah fungsi rata-rata posterior yang dipelajari mendekati fungsi sebenarnya (dalam beberapa hal)?" Keduanya tentu saja sifat yang berbeda, tetapi saya akan menganggap mereka cukup dekat untuk dijawab (dan karenanya memberikan suara pembukaan kembali kelima).

f

$f$

f

$f$

f

$f$

f

$f$

— Dougal

Mungkin, Anda ingin membuktikan konvergensi alih-alih perkiraan. Kalau tidak, buktinya sederhana: Anda dapat mengambil fungsi sebagai sebelum mean. Itu tidak lebih dari , tetapi itu berfungsi.

x = x

$x=x$

— Karel Macek

Sebagai @Dougal catat, ada dua cara berbeda di mana pertanyaan Anda dapat ditafsirkan. Mereka terkait erat, bahkan jika tampaknya tidak demikian.

Interpretasi pertama adalah: misalkan menjadi himpunan bagian kecil dari (kekompakan adalah fundamental untuk semua hal berikut !!!), misalkan menjadi fungsi kovarians kontinu (atau kernel) yang didefinisikan pada , dan menunjukkan dengan ruang bernorma fungsi kontinu pada , dilengkapi dengan norma maksimum . Untuk fungsi apa pun , dapat $X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ didekati dengan toleransi yang telah ditentukan sebelumnya oleh fungsi dalam RKHS (Reproducing Kernel Hilbert Space) yang terkait dengan $\epsilon$ $k$ ? Anda mungkin bertanya-tanya apa itu RKHS, apa hubungannya semua ini dengan Regresi Proses Gaussian. Sebuah RKHS adalah penutupan ruang vektor yang dibentuk oleh semua terbatas mungkin linear kombinasi dari semua fungsi yang mungkin di mana . Hal ini sangat ketat terkait dengan proses regresi Gaussian, karena mengingat proses Gaussian sebelum $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ pada ruang , kemudian ruang (penutupan) dari semua sarana posterior yang mungkin yang dapat dihasilkan oleh Regresi Proses Gaussian persis dengan RKHS. Faktanya, semua sarana posterior yang mungkin berbentuk $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

f (x) = \sum_{i = 1}^{n} c_{i} k (x, x_{i})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

yaitu, mereka adalah kombinasi linear hingga dari fungsi . Dengan demikian, kami secara efektif menanyakan apakah, mengingat Proses Gaussian sebelumnya pada , untuk setiap fungsi selalu ada fungsi $f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ dalam (penutupan) ruang semua fungsi yang dapat dihasilkan oleh GPR, yang sedekat yang diinginkan dengan . $f$

Jawabannya, untuk beberapa kernel tertentu (termasuk kernel Squared Exponential klasik, tetapi tidak termasuk kernel polinomial), adalah ya . Hal ini dapat dibuktikan bahwa untuk kernel seperti adalah padat di , yaitu, untuk setiap dan untuk setiap toleransi , ada di sehingga $K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ . Perhatikan asumsi: kompak, kontinu dan adalah kernel kontinu yang memiliki properti aproksimasi universal. Lihat di sini untuk bukti lengkap dalam konteks yang lebih umum (dengan demikian rumit). $X$ $f$ $k$

Hasil ini jauh lebih kuat daripada yang terlihat pada pandangan pertama. Sekalipun berada dalam ruang (penutupan) sarana posterior yang dapat dihasilkan oleh GPR, kami belum membuktikan bahwa itu adalah rata -rata posterior khusus yang dikembalikan oleh GPR, untuk pelatihan yang cukup besar, di mana tentu saja training set terdiri dari pengamatan berisik dari pada titik-titik . Kami bahkan belum membuktikan bahwa rata-rata posterior dikembalikan oleh GPR sama sekali, untuk $f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ ! Ini sebenarnya interpretasi kedua yang disarankan oleh @Dougal. Jawaban untuk pertanyaan ini tergantung pada jawaban untuk pertanyaan pertama: jika tidak ada fungsi dalam RKHS yang merupakan "perkiraan yang baik" untuk , tentu saja kita tidak bisa berharap bahwa rata-rata posterior yang dikembalikan oleh GPR konvergen ke Itu. Namun, ini pertanyaan yang berbeda. Jika Anda ingin memiliki jawaban untuk pertanyaan ini juga, silakan ajukan pertanyaan baru. $f^*$ $f$

— DeltaIV
sumber