Gaussian memproses manfaat

13

Saya memiliki kebingungan ini terkait dengan manfaat dari proses Gaussian. Maksud saya membandingkannya dengan regresi linier sederhana, di mana kita telah mendefinisikan bahwa fungsi linier memodelkan data.

Namun, dalam proses Gaussian kami mendefinisikan distribusi fungsi berarti kami tidak secara spesifik mendefinisikan bahwa fungsi harus linier. Kita dapat mendefinisikan prior atas fungsi yang merupakan prior Gaussian yang mendefinisikan fitur seperti seberapa halus fungsi seharusnya dan semuanya.

Jadi kita tidak perlu mendefinisikan secara eksplisit model apa yang seharusnya. Namun, saya punya pertanyaan. Kami memang memiliki kemungkinan marginal dan menggunakannya, kami dapat menyesuaikan parameter fungsi kovarian dari gaussian sebelumnya. Jadi ini mirip dengan mendefinisikan jenis fungsi yang seharusnya bukan.

Itu bermuara pada hal yang sama mendefinisikan parameter meskipun dalam GP mereka hyperparameters. Untuk misal dalam tulisan ini . Mereka telah mendefinisikan bahwa fungsi rata-rata GP adalah sesuatu seperti

m (x) = Sebuah x^{2} + b x + c yaitu polinomial orde kedua.

$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$

Jadi pasti model / fungsi didefinisikan bukan. Jadi apa perbedaan dalam mendefinisikan fungsi menjadi linier seperti pada LR.

Saya hanya tidak mendapatkan apa manfaatnya menggunakan GP

gaussian-process

— pengguna34790
sumber

7

Mari kita ingat beberapa rumus tentang regresi proses Gaussian. Misalkan kita memiliki sampel . Untuk sampel loglikelihood ini memiliki bentuk: mana adalah matriks kovarians sampel. Di sana adalah fungsi kovarians dengan parameter yang kita selaras menggunakan maksimalisasi kemungkinan log. Prediksi (rata-rata posterior) untuk titik baru memiliki bentuk: sana $D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$

L. = - \frac{1}{2} (catatan | K | + y^{T} K^{- 1} y),

$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

k (x_{i}, x_{j})

$k(\mathbf{x}_i, \mathbf{x}_j)$

x

$\mathbf{x}$

\hat{y} (x) = k K^{- 1} y,

$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$

k = {k (x, x_{i})}_{i = 1}^{N}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$ adalah vektor kovarian antara titik baru dan titik sampel.

Sekarang perhatikan bahwa proses regresi Gaussian dapat memodelkan model linier yang tepat. Misalkan fungsi kovarians memiliki bentuk . Dalam hal ini prediksi memiliki bentuk: Identitas benar dalam kasus adalah nonsingular yang bukan kasusnya, tetapi ini bukan masalah jika kita menggunakan regularisasi matriks kovarians. Jadi, sisi kanan adalah rumus yang tepat untuk regresi linier, dan kita bisa melakukan regresi linier dengan proses Gaussian menggunakan fungsi kovarian yang tepat. $k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

\hat{y} (x) = x^{T} X^{T} (X X^{T})^{- 1} y = x^{T} (X^{T} X)^{- 1} X^{T} y .

$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$

(X X^{T})^{- 1}

$(X X^T)^{-1}$

Sekarang mari kita pertimbangkan regresi proses Gaussian dengan fungsi kovarians lain (misalnya, fungsi kovarians eksponensial kuadrat dari formulir , di sana adalah matriks dari hiperparameter yang kami setel). Jelas, dalam hal ini mean posterior bukanlah fungsi linier (lihat gambar). $\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$ $A$

masukkan deskripsi gambar di sini .

Jadi, manfaatnya adalah kita dapat memodelkan fungsi-fungsi nonlinier menggunakan fungsi kovarians yang tepat (kita dapat memilih yang canggih, dalam kebanyakan kasus fungsi kovarians eksponensial kuadrat adalah pilihan yang agak baik). Sumber nonlinier bukanlah komponen tren yang Anda sebutkan, tetapi fungsi kovarians.

— Alexey Zaytsev
sumber

3

Saya akan mengatakan ini hanya satu manfaat dari GP yang juga dibagikan dengan metode kernel lainnya. Menjadi probabilistik dan berasal dari kerangka kerja Bayesian adalah keuntungan lain dari GP.

— Seeda

2

Bagi saya keuntungan terbesar dari Proses Gaussian adalah kemampuan yang melekat untuk memodelkan ketidakpastian model. Hal ini sangat berguna karena, mengingat nilai yang diharapkan dari suatu fungsi dan varians yang sesuai saya dapat menentukan metrik (yaitu fungsi Akuisisi ) yang dapat memberitahu saya misalnya apa gunanya itu, saya harus mengevaluasi saya yang mendasari fungsi di, wasiat itu menghasilkan nilai (harapan) tertinggi dari . Ini membentuk dasar dari Optimasi Bayesian . $x$ $f$ $f(x)$

Anda mungkin tahu trade-off eksplorasi vs eksploitasi . Kami ingin menemukan dari beberapa fungsi (yang seringkali mahal untuk dievaluasi) dan oleh karena itu kami perlu berhemat tentang kami pilih untuk mengevaluasi . Kami mungkin ingin melihat tempat-tempat di dekat titik di mana kami tahu bahwa fungsi memiliki nilai tinggi (eksploitasi) atau pada titik di mana kami tidak tahu tentang nilai fungsi (eksplorasi). Proses Gaussian memberi kita informasi yang diperlukan untuk membuat keputusan mengenai evaluasi berikutnya: nilai rata-rata dan matriks kovarian (ketidakpastian), yang memungkinkan misalnya mengoptimalkan fungsi kotak hitam yang mahal. $max$ $f$ $x$ $f$ $\mu$ $\Sigma$

— Tomasz Bartkowiak
sumber