Keraguan tentang derivasi persamaan Regresi Proses Gaussian dalam makalah

Saya membaca pracetak makalah ini , dan saya mengalami kesulitan mengikuti derivasi mereka dari persamaan untuk Regresi Proses Gaussian. Mereka menggunakan pengaturan & notasi Rasmussen & Williams . Dengan demikian, aditif, mean-nol, stasioner, dan noise terdistribusi normal dengan varian $\sigma^2_{noise}$ diasumsikan:

y = f (x) + ϵ, ϵ \sim N (0, σ_{n o i s e}^{2})

$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$

GP sebelum dengan nol rata-rata diasumsikan untuk $f(\mathbf{x})$ , yang berarti bahwa $\forall \ d\in N$ , $\mathbf{f}=\{f(\mathbf{x_1}),\dots,f(\mathbf{x_d})\}$ adalah vektor Gaussian dengan mean 0 dan matriks kovarians

Σ_{d} = (\begin{matrix} k (x_{1}, x_{1}) & k (x_{1}, x_{d}) \\ ⋱ \\ k (x_{d}, x_{1}) & k (x_{d}, x_{d}) \end{matrix})

$\Sigma_d=\pmatrix{k(\mathbf{x_1},\mathbf{x_1})& & k(\mathbf{x_1},\mathbf{x_d}) \\ & \ddots & \\k(\mathbf{x_d},\mathbf{x_1})& & k(\mathbf{x_d},\mathbf{x_d}) }$

Mulai sekarang, kami mengasumsikan bahwa hiperparameter diketahui. Maka Persamaan (4) dari makalah ini jelas:

p (f, f^{*}) = N (0, (\begin{matrix} K_{f, f} & K_{f^{*}, f} \\ K_{f^{*}, f} & K_{f^{*}, f^{*}} \end{matrix}))

$p(\mathbf{f},\mathbf{f^*})=N\left(0,\pmatrix { K_{\mathbf{f},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f}} \\K_{\mathbf{f^*},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f^*}}} \right)$

Inilah keraguan:

Persamaan (5):

$p (y | f) = N (f, σ_{n o i s e}^{2} I)$ $p(\mathbf{y}|\mathbf{f})=N\left(\mathbf{f},\sigma^2_{noise}I \right)$
, tapi saya kira karena ketika saya mengkondisikan pada , maka manaadalah vektor konstan dan hanya itu acak. Benar? $E[\mathbf{f}]=0$ $E[\mathbf{y}|\mathbf{f}]=\mathbf{f}\neq0$ $\mathbf{f}$ $\mathbf{y}=\mathbf{c}+\boldsymbol{\epsilon}$ $\mathbf{c}$ $\boldsymbol{\epsilon}$
Bagaimanapun, ini Persamaan (6) yang lebih tidak jelas bagi saya:

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f)}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f})}{p(\mathbf{y})}$
Itu bukan bentuk teorema Bayes yang biasa. Teorema Bayes akan menjadi

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f, f^{*})}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f},\mathbf{f^*})}{p(\mathbf{y})}$
Saya agak mengerti mengapa kedua persamaan itu sama: secara intuitif, vektor respons hanya bergantung pada vektor laten yang sesuai , dengan demikian mengkondisikan pada atau pada harus mengarah ke distribusi yang sama. Namun, ini adalah intuisi, bukan bukti! Dapatkah Anda membantu saya menunjukkan alasannya? $\mathbf{y}$ $\mathbf{f}$ $\mathbf{f}$ $(\mathbf{f},\mathbf{f^*})$

$p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y}|\mathbf{f},\mathbf{f^*})=p(\mathbf{y}|\mathbf{f})$

regression bayesian gaussian-process

— DeltaIV
sumber

$\mathbf{f}$ $\mathbf{y}$ $\mathbf{f}$ $\sigma_{noise}^2$ $0$
Salah satu cara untuk membuktikan persamaan kesetaraan adalah dengan menemukan distribusi di sisi kiri dan sisi kanan kualitas. Keduanya Gaussian, untuk sisi kiri kita sudah tahu jawabannya. Untuk sisi kanan kita melanjutkan dengan cara yang sama. Mari kita cari distribusi kondisional untuk . Dari hasil dari bagian pertama kita tahu: Menggunakan aturan probabilitas, mudah untuk mengintegrasikan dari $p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = p(\mathbf{y} | \mathbf{f})$ $(\mathbf{y}, \mathbf{y}^*)$ $p (y, y^{*} | f, f^{*}) = N ((f, f^{*}), σ_{n o i s e}^{2} I) .$ $p(\mathbf{y}, \mathbf{y}^* | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}((\mathbf{f}, \mathbf{f}^*), \sigma^2_{noise} I).$ $\mathbf{y}^*$ $(\mathbf{y}, \mathbf{y}^*)$ , karena matriks kovariansnya adalah diagonal, dan vektor dan bersifat independen. Dengan melakukan ini kita mendapatkan: $\mathbf{y}$ $\mathbf{y}^*$ $p (y | f, f^{*}) = N (f, σ_{n o i s e}^{2} I) = p (y | f) .$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}(\mathbf{f}, \sigma^2_{noise} I) = p(\mathbf{y} | \mathbf{f}).$

— Alexey Zaytsev
sumber