Mencoba memahami Proses Gaussian

Saya membaca buku GPML dan dalam Bab 2 (halaman 15) , buku ini menceritakan cara melakukan regresi menggunakan Proses Gaussian (GP), tetapi saya mengalami kesulitan mencari cara kerjanya.

Dalam inferensi Bayesian untuk model parametrik, pertama-tama kita memilih prior pada parameter model $\theta$, itu adalah $p(\theta)$; kedua, diberikan data pelatihan$D$, kami menghitung kemungkinannya $p(D|\theta)$; dan akhirnya kami memiliki posterior$\theta$ sebagai $p(\theta|D)$, yang akan digunakan dalam distribusi prediktif

$$p(y^*|x^*,D)=\int p(y^*|x^*,\theta)p(\theta|D)d\theta$$ , dan di atas adalah apa yang kita lakukan dalam inferensi Bayesian untuk model parametrik, kan?

Nah, seperti yang dikatakan dalam buku ini, GP adalah non-parametrik, dan sejauh yang saya mengerti, setelah menentukan fungsi rata - rata $m(x)$dan fungsi kovarians $k(x,x')$, kami memiliki fungsi GP over $f$,

$$f \sim GP(m,k)$$ , dan ini adalah prioritas dari$f$. Sekarang saya memiliki satu set data pelatihan bebas kebisingan $$D=\{(x_1,f_1),...,(x_n,f_n)\}$$ ， Saya pikir saya harus menghitung kemungkinannya $p(D|f)$dan kemudian posterior $p(f|D)$, dan akhirnya gunakan posterior untuk membuat prediksi.

NAMUN, bukan itu yang dilakukan buku! Maksud saya, setelah menentukan sebelumnya$p(f)$, itu tidak menghitung kemungkinan dan posterior, tetapi langsung saja ke prediksi prediktif.

Pertanyaan:

1) Mengapa tidak menghitung kemungkinan dan posterior? Hanya karena GP non-parametrik, jadi kami tidak melakukannya?

2) Seperti yang dilakukan dalam buku ini (halaman 15 ~ 16), ia memperoleh distribusi prediktif melalui distribusi gabungan dari kumpulan data pelatihan$\textbf f$ dan menguji kumpulan data $\textbf f^*$, yang disebut sebagai joint prior . Baiklah, ini membingungkan saya, mengapa menggabungkan mereka bersama?

3) Saya melihat beberapa artikel menelepon $f$yang laten variabel, mengapa?

dan di atas adalah apa yang kita lakukan dalam inferensi Bayesian untuk model parametrik, kan?

Buku ini menggunakan rata-rata model Bayesian, yang sama untuk model parametrik atau metode Bayesian lainnya, mengingat Anda memiliki posterior di atas parameter Anda.

Sekarang saya memiliki satu set data pelatihan bebas kebisingan

Tidak perlu 'bebas noise'. Lihat halaman selanjutnya.

NAMUN, bukan itu yang dilakukan buku! Maksud saya, setelah menentukan p (f) sebelumnya, itu tidak menghitung kemungkinan dan posterior, tetapi langsung saja ke prediksi prediktif.

Lihat ini: https://people.cs.umass.edu/~wallach/talks/gp_intro.pdf

Saya percaya, di halaman 17 kita memiliki kemungkinan sebelumnya, dan kemudian. Saya percaya jika Anda menulis derivasi, dan menemukan posterior, dan kemudian rata-rata di atas posterior untuk prediksi (seperti dalam tampilan bobot-ruang) itu akan menghasilkan persamaan yang sama seperti pada halaman 19 untuk mean dan kovarians.