Masalah mainan regresi proses Gaussian

Saya mencoba mendapatkan intuisi untuk regresi Gaussian Process, jadi saya membuat masalah mainan 1D sederhana untuk dicoba. Saya mengambil sebagai input, dan sebagai tanggapan. ('Terinspirasi' dari ) $x_i=\{1,2,3\}$ $y_i=\{1,4,9\}$ $y=x^2$

Untuk regresi saya menggunakan fungsi kernel eksponensial kuadrat standar:

k (x_{hal}, x_{q}) = σ_{f}^{2} \exp (- \frac{1}{2 l^{2}} {| x_{hal} - x_{q} |}^{2})

$k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right)$

Saya berasumsi bahwa ada suara dengan standar deviasi , sehingga matriks kovarians menjadi: $\sigma_n$

K_{hal q} = k (x_{hal}, x_{q}) + σ_{n}^{2} δ_{hal q}

$K_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq}$

The hyperparameters diperkirakan dengan memaksimalkan kemungkinan log data. Untuk membuat prediksi pada titik , saya menemukan rata-rata dan varians masing-masing dengan berikut ini $(\sigma_n,l,\sigma_f)$ $x_\star$

μ_{x_{⋆}} = k_{⋆}^{T} (K + σ_{n}^{2} saya)^{- 1} y

$\mu_{x_\star} = k_\star^T (\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} y$

σ_{x_{⋆}}^{2} = k (x_{⋆}, x_{⋆}) - k_{⋆}^{T} (K + σ_{n}^{2} saya)^{- 1} k_{⋆}

$\sigma_{x_\star}^2 = k(x_\star,x_\star)-k_\star^T(\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} k_\star$

di mana adalah vektor kovarians antara dan input, dan adalah vektor dari output. $k_\star$ $x_\star$ $y$

Hasil saya untuk ditunjukkan di bawah ini. Garis biru adalah rata-rata dan garis merah menandai interval deviasi standar. $1<x<3$

Hasil

Saya tidak yakin apakah ini benar; input saya (ditandai dengan 'X) tidak terletak pada garis biru. Kebanyakan contoh yang saya lihat memiliki mean yang memotong input. Apakah ini fitur umum yang diharapkan?

regression gaussian-process

— Comp_Warrior
sumber

Jika saya harus menebak, dalam contoh yang Anda lihat tidak ada kesalahan residual. Dalam hal ini garis akan melewati semua titik.

— pria

@ Beli persis benar.

Jawaban:

Fungsi rata-rata melewati titik data biasanya merupakan indikasi over-fitting. Mengoptimalkan parameter-hiper dengan memaksimalkan kemungkinan marjinal akan cenderung mendukung model yang sangat sederhana kecuali ada cukup data untuk membenarkan sesuatu yang lebih kompleks. Karena Anda hanya memiliki tiga titik data, yang kurang lebih sejalan dengan sedikit noise, model yang telah ditemukan tampaknya cukup masuk akal bagi saya. Pada dasarnya data dapat dijelaskan sebagai fungsi yang mendasari linier dengan noise moderat, atau fungsi yang mendasari non-linier dengan sedikit noise. Yang pertama adalah yang lebih sederhana dari dua hipotesis, dan disukai oleh "Occam's razor".

— Dikran Marsupial
sumber

Terima kasih atas masukannya. Bisakah Anda ceritakan lebih banyak tentang "over-fitting"; apakah ini fitur positif / negatif?

— Comp_Warrior

over-fitting adalah hal yang negatif, pada dasarnya berarti model ini menghafal variasi acak dalam data, yang cenderung membuat kinerja generalisasi lebih buruk. Idealnya Anda ingin model mempelajari bentuk data yang mendasarinya sambil mengabaikan kebisingan yang mencemari itu. Kebanyakan buku teks pembelajaran mesin yang bagus, akan membahas hal ini dalam bab awal.

— Dikran Marsupial

hanya karena ketertarikan, mengapa downvote?

— Dikran Marsupial

Saya tidak menurunkan suara Anda; sebenarnya saya terbalik!

— Comp_Warrior

tidak masalah Comp_Warrior, saya tidak mengira itu adalah Anda, tetapi seseorang memang merendahkan jawaban saya dan saya akan dengan senang hati memberikan umpan balik tentang alasannya. Kita semua salah dan jika ada yang salah dalam jawaban saya, saya ingin memperbaikinya.

— Dikran Marsupial

Anda menggunakan penduga Kriging dengan penambahan istilah noise (dikenal sebagai efek nugget dalam literatur proses Gaussian). Jika istilah noise diatur ke nol, yaitu,

σ_{n}^{2} δ_{hal q} = 0

$\sigma^2_n \delta_{pq}=0$

maka prediksi Anda akan bertindak sebagai interpolasi dan melewati titik data sampel.

Ini terlihat oke bagi saya, dalam buku GP oleh Rasmussen jelas menunjukkan contoh di mana fungsi rata-rata tidak melewati setiap titik data. Perhatikan bahwa garis regresi adalah perkiraan untuk fungsi yang mendasarinya, dan kami mengasumsikan bahwa pengamatan adalah nilai fungsi yang mendasarinya ditambah beberapa noise. Jika garis regresi berdasarkan ketiga poin itu pada dasarnya akan mengatakan bahwa tidak ada suara dalam nilai yang diamati.

$\sigma_n = 0$

$l$

$l$ $l$

Sebagaimana dicatat oleh Dikran Marsupial, ini adalah fitur bawaan dari Proses Gaussian, kemungkinan marginal menghukum model yang terlalu spesifik, dan lebih suka model yang dapat menjelaskan banyak set data.

— Max S.
sumber