Interpretasi probabilistik dari Thin Plate Smoothing Splines


8

TLDR: Apakah splines regresi plat tipis memiliki interpretasi probabilistik / Bayesian?

Pasangan input-output yang diberikan , ; Saya ingin memperkirakan fungsi sebagai berikut mana adalah fungsi kernel dan adalah vektor fitur dengan ukuran . Koefisien dan dapat ditemukan dengan menyelesaikan mana baris \ Phi diberikan oleh(xsaya,ysaya)(xi,yi)saya=1,...,ni=1,...,nf()f()f(x)kamu(x)=ϕ(xsaya)Tβ+nsaya=1αsayak(x,xsaya),

f(x)u(x)=ϕ(xi)Tβ+i=1nαik(x,xi),
k(,)k(,)ϕ(xsaya)ϕ(xi)m<nm<nαsayaαiβsayaβiminαRn,βRm1nYΦβKα2Rn+λαTKα,
minαRn,βRm1nYΦβKα2Rn+λαTKα,
ΦΦϕ(xi)Tϕ(xi)T dan, dengan beberapa penyalahgunaan notasi, entri i,ji,j dari matriks kernel KK adalah k(xi,xj)k(xi,xj) . Ini memberi α=λ1(I+λ1K)1(YΦβ)
α=λ1(I+λ1K)1(YΦβ)
β={ΦT(I+λ1K)1Φ}1ΦT(I+λ1K)1Y.
β={ΦT(I+λ1K)1Φ}1ΦT(I+λ1K)1Y.
Dengan asumsi bahwa k(,)k(,) adalah fungsi kernel pasti positif, solusi ini dapat dilihat sebagai Prediktor Linier Tidak Linier Terbaik untuk model Bayesian berikut: y | (β,h())  N(ϕ(x)β+h(x),σ2),
y | (β,h())  N(ϕ(x)β+h(x),σ2),
h()  GP(0,τk(,)),
h()  GP(0,τk(,)),
β1,
β1,
di mana σ2/τ=λσ2/τ=λ dan GPGP menunjukkan proses Gaussian. Lihat misalnya https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2665800/

Pertanyaan saya adalah sebagai berikut. Misalkan saya membiarkan k(x,x):=|xx|2ln(|xx|)k(x,x):=|xx|2ln(|xx|) dan ϕ(x)T=(1,x)ϕ(x)T=(1,x) , yaitu spline pelat tipis regresi. Sekarang, k(,)k(,) bukan fungsi semidefinite positif dan interpretasi di atas tidak berfungsi. Apakah model di atas dan solusinya masih memiliki interpretasi probabilistik untuk kasus k(,)k(,) adalah semidefinite positif?


Anda tampaknya menganggap berada dalam ruang dimensional dengan atau setidaknya bilangan bulat adalah genap. xxddd=2d=2dd
Yves

Ok, jadi apa implikasinya?
MthQ

2
Ini hanya komentar sampingan karena dalam pertanyaan orang mungkin berpikir bahwa adalah skalar. Tetapi dalam kasus ini kernel Duchon memiliki bentuk dengan integer, dan untuk spline smoothing yang biasa. Saya berpikir bahwa interpretasi probabilistik tetap hampir tidak berubah tetapi GP adalah non-stasioner: ini adalah Fungsi Acak Intrinsik . Untuk spline smoothing biasa, ini ternyata menjadi proses Wiener terintegrasi. xixi|xx|2m1|xx|2m1mmm=2m=2
Yves

1
@Ya itu terdengar menarik. Anda mungkin ingin memperluas komentar Anda menjadi sebuah jawaban, menjelaskan sedikit lebih banyak apa fungsi acak intrinsik itu, dan menambahkan contoh klasik dari spline smoothing. Jika Anda khawatir untuk membuktikan bahwa kernel TPS memunculkan GP non-stasioner, mungkin sebuah simulasi bisa menjadi kompromi yang berguna, terutama jika Anda menambahkan estimasi non parametrik dari varian dari distribusi prediksi posterior.
DeltaIV

@DeltaIV. Terima kasih. Saya akan mencoba melakukannya, bukan tugas yang mudah. Saya cukup yakin ini berlaku ketika fungsi adalah polinomial yang cocok terkait dengan kernel, tetapi ini mungkin tidak lagi benar dengan arbitrary seperti dalam konteks GP yang lebih klasik. ϕjϕjϕjϕj
Yves

Jawaban:


5

Biarkan model pertanyaan ditulis sebagai mana adalah GP yang tidak teramati dengan indeks dan adalah istilah kebisingan normal dengan varians . GP biasanya diasumsikan berpusat, stasioner dan non-deterministik. Perhatikan bahwa istilah dapat dianggap sebagai GP (deterministik) dengan kernel manaYi=ϕ(xi)β+h(xi)+εi

Yi=ϕ(xi)β+h(xi)+εi(1)
h(x)h(x)xRdxRdεiεiσ2σ2ϕ(x)βϕ(x)βϕ(x)Bϕ(x)ϕ(x)Bϕ(x)BBadalah matriks kovarians yang bernilai tak terbatas. Memang, dengan mengambil dengan kita mendapatkan persamaan kriging dari pertanyaan. Ini sering dinamai difuse prior untuk . Posterior yang tepat untuk hanya dihasilkan ketika matriks memiliki peringkat penuh. Jadi model menulis dan mana adalah GP . Interpretasi Bayes yang sama dapat digunakan dengan pembatasan ketika bukan lagi GP tetapi merupakanB:=ρIB:=ρIρρββββΦΦYi=ζ(xi)+εi
Yi=ζ(xi)+εi(2)
ζ(x)ζ(x)ζ(x)ζ(x)Fungsi Acak Intrinsik (IRF). Derivasi dapat ditemukan dalam buku G. Wahba. Presentasi yang dapat dibaca dari konsep IRF misalnya dalam buku oleh N. Cressie dan artikel oleh Mardia et al yang dikutip di bawah ini. IRF mirip dengan proses terintegrasi yang terkenal dalam konteks waktu diskrit (seperti ARIMA): IRF ditransformasikan menjadi GP klasik dengan semacam operasi yang membedakan.

Berikut adalah dua contoh IRF untuk . Pertama, pertimbangkan proses Wiener dengan kondisi awalnya diganti dengan kondisi awal difus : normal dengan varian tak terbatas. Setelah nilai diketahui, IRF dapat diprediksi seperti halnya Wiener GP. Kedua, pertimbangkan proses Wiener terintegrasi yang diberikan oleh persamaan mana adalah proses Wiener. Untuk mendapatkan GP kita sekarang membutuhkan dua parameter skalar: dua nilai dan untukd=1d=1ζ(x)ζ(x)ζ(0)=0ζ(0)=0ζ(0)ζ(0)ζ(x)ζ(x)d2ζ(x)/dx2=dW(x)/dx

d2ζ(x)/dx2=dW(x)/dx
W(x)W(x)ζ(x)ζ(x)ζ(x)ζ(x)xxxx, atau nilai dan pada beberapa dipilih . Kami dapat mempertimbangkan bahwa dua parameter tambahan adalah Gaussian bersama dengan matriks kovarians tanpa batas . Dalam kedua contoh, segera setelah serangkaian pengamatan terbatas yang sesuai tersedia, IRF hampir diatasi dengan GP. Selain itu kami menggunakan operator diferensial: dan masing-masing. Nullspace adalah ruang linear dari fungsi sedemikian rupa sehingga . Ini berisi fungsi konstan ζ(x)ζ(x)dζ(x)/dxdζ(x)/dxxx2×22×2L:=d/dxL:=d/dxL:=d2/dx2L:=d2/dx2FFϕ(x)ϕ(x)Lϕ=0Lϕ=0ϕ1(x)=1ϕ1(x)=1dalam kasus pertama dan fungsi dan dalam kasus kedua. Perhatikan bahwa dalam contoh pertama adalah GP untuk setiap perbaikan dalam contoh pertama dan demikian pula adalah dokter umum dalam kasus kedua.ϕ1(x)=1ϕ1(x)=1ϕ2(x)=xϕ2(x)=xζ(x)ζ(x+δ)ζ(x)ζ(x+δ)δδζ(xδ)2ζ(x)+ζ(x+δ)ζ(xδ)2ζ(x)+ζ(x+δ)

Untuk dimensi umum , pertimbangkan spasi linear dari fungsi yang didefinisikan pada . Kami menyebut kenaikan relatif ke koleksi terbatas lokasi dan bobot nyata sedemikian rupa sehingga Anggap sebagai ruang kosong dari contoh kita. Sebagai contoh pertama kita dapat mengambil contoh dengan dan sewenang-wenang danddFFRdRdFFssxiRdxiRdssνiνisi=1νiϕ(xi)=0 for all ϕF.

i=1sνiϕ(xi)=0 for all ϕF.
FFs=2s=2x1x1x2x2[1,1][1,1] . Untuk contoh kedua kita dapat mengambil dengan spasi dan dengan spasi yang sama . Definisi IRF melibatkan ruang fungsi dan fungsi yang merupakan kondisional positif wrt , yang berarti bahwa bertahan segera setelah adalah kenaikan bertahap . Dari dans=3s=3xixiν=[1,2,1]ν=[1,2,1]FFg(x,x)g(x,x)FFsi=1sj=1νiνjg(xi,xj)0
i=1sj=1sνiνjg(xi,xj)0
[νi,xi]si=1[νi,xi]si=1FFFFg(x,x)g(x,x) kita dapat membuat kernel kovarians karenanya GP seperti pada Mardia et al. Kita dapat mulai dari operator diferensial linier dan menggunakan nullspace sebagai ; IRF kemudian akan memiliki koneksi dengan persamaan a Gaussian noise.LLFFLζ=Lζ=

Perhitungan prediksi IRF hampir sama dengan dalam pertanyaan, dengan digantikan oleh , tetapi dengan sekarang membentuk dasar . Batasan ekstra harus ditambahkan dalam masalah optimisasi, yang akan memberikan bahwa . Kita masih dapat menambahkan fungsi-fungsi basis lainnya yang tidak ada di jika diperlukan; ini akan memiliki efek menambahkan GP deterministik, katakan ke IRF k(x,x)k(x,x)g(x,x)g(x,x)ϕi(x)ϕi(x)FFΦα=0Φα=0αKα0αKα0FFψ(x)γψ(x)γζ(x)ζ(x) di (2).

Spline pelat tipis bergantung pada bilangan bulat sehingga , ruang berisi polinomial dengan derajat rendah, dengan dimensi tergantung pada dan . Dapat ditunjukkan bahwa jika adalah fungsi berikut untuk lalu mendefinisikan wrt positif bersyarat positif . Konstruksi berhubungan dengan operator diferensialmm>2dFp(m)mdE(r)r0 E(r):={(1)m+1+d/2r2mdlogrd even,r2mdd odd,

g(x,x):=E(xx)FL. Ternyata untuk dan spline plat tipis tidak lebih dari spline kubik alami yang biasa, yang berhubungan dengan contoh Wiener terintegrasi di atas, dengan . Jadi (2) tidak lebih dari model spline smoothing biasa. Ketika dan nullspace memiliki dimensi dan dihasilkan oleh fungsi , dan .d=1m=2g(x,x)=|xx|3d=2m=2p(m)=31x1x2

Cressie N Statistik untuk Data Spasial . Wiley 1993.

Mardia KV, Kent JT, Goodall CR dan Little JA. Kriging dan splines dengan informasi derivatif. Biometrika (1996), 83,1, hlm. 207-221.

Model Wahba G Spline untuk Data Observasional . SIAM 1990.

Wang, Y Smoothing Splines, Metode dan Aplikasi . Chapman and Hall, 2011.


Terima kasih banyak atas upaya yang Anda lakukan. Sangat bermanfaat. Saya punya satu pertanyaan tambahan. Jadi menambahkan fungsi basis tambahan ke (di atas fungsi dasar ) tidak mengubah interpretasi dari . Namun, yang saya perhatikan adalah bahwa solusi diberikan dalam pertanyaan saya di atas, selalu memuaskan , tidak hanya jika . Bagaimana ini bisa ditafsirkan? ϕ()Fζ()αΦα=0ϕ()F
MthQ

Iya. Dalam kedua kasus ada fungsi dasar dalam pendekatan , sementara hanya pengamatan yang digunakan. Jadi kami memiliki sesuatu seperti regresi peringkat-kurang dengan koefisien dan . Karena bagian tidak dihukum, itu cenderung 'menyerap' lebih banyak variasi daripada bagian yang membawa kendala linear . Perhatikan bahwa tidak ada yang melarang penggunaan beberapa fungsi "kernel shifts" sebagai . Jika kita menggunakan semuanya maka semua bintangn+pf(x)nβiαjβyαpnxk(x,xi)ϕj(x)αjadalah nol, yang tampaknya masuk akal.
Yves
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.