Bias optimisme - perkiraan kesalahan prediksi


9

Buku Elemen Pembelajaran Statistik (tersedia dalam PDF online) membahas bias optimisim (7.21, halaman 229). Ini menyatakan bahwa bias optimisme adalah perbedaan antara kesalahan pelatihan dan kesalahan dalam sampel (kesalahan diamati jika kita sampel nilai-nilai hasil baru di masing-masing poin pelatihan asli) (per di bawah).

masukkan deskripsi gambar di sini

Selanjutnya, ia menyatakan bias optimisme ini ( ω ) sama dengan kovarians dari estimasi nilai y kami dan nilai y aktual (rumus per di bawah). Saya mengalami kesulitan memahami mengapa rumus ini menunjukkan bias optimisme; naif saya akan berpikir bahwa kovarians yang kuat antara aktual dan prediksi hanya menggambarkan akurasi - bukan optimisme. Beri tahu saya jika seseorang dapat membantu dengan derivasi formula atau berbagi intuisi. yy

masukkan deskripsi gambar di sini


Sangat membantu, terima kasih! Saya pikir salah satu persamaan memiliki kesalahan ketik kecil dan seharusnya:=1Ni=1N(Ey[yi2]+Ey[y^i2]2Ey[yi]Ey[y^i]Ey[yi2]Ey[y^i2]+2E[yiy^i])
Sleepster

Jawaban:


8

Mari kita mulai dengan intuisi.

Tidak ada yang salah dengan menggunakan untuk memprediksi . Bahkan, tidak menggunakannya berarti kita membuang informasi berharga. Namun, semakin kita bergantung pada informasi yang terkandung dalam untuk menghasilkan prediksi kita, semakin optimis penaksir kita.y i y iyiy^sayaysaya

Pada satu ekstrim, jika hanyalah , Anda akan memiliki prediksi sampel yang sempurna ( ), tetapi kami cukup yakin bahwa prediksi out-of-sample akan menjadi buruk. Dalam hal ini (mudah untuk memeriksa sendiri), derajat kebebasan akan menjadi .yiR2=1df( y )=ny^sayaysayaR2=1df(y^)=n

Di sisi lain, jika Anda menggunakan mean sampel : untuk semua , maka derajat kebebasan Anda hanya 1.y i = ^ y i = ˉ y iyysaya=ysaya^=y¯saya

Lihat selebaran yang bagus ini oleh Ryan Tibshirani untuk detail lebih lanjut tentang intuisi ini


Sekarang bukti yang mirip dengan jawaban yang lain, tetapi dengan sedikit penjelasan

Ingat bahwa, menurut definisi, optimisme rata-rata adalah:

ω=Ey(Errsayan-err¯)

=Ey(1Nsaya=1NEY0[L.(Ysaya0,f^(xsaya)|T)]-1Nsaya=1NL.(ysaya,f^(xsaya)))

Sekarang gunakan fungsi kerugian kuadratik dan perluas istilah kuadrat:

=Ey(1Nsaya=1NEY0[(Ysaya0-y^saya)2]-1Nsaya=1N(ysaya-y^saya)2))

=1Nsaya=1N(EyEY0[(Ysaya0)2]+EyEY0[y^saya2]-2EyEY0[Ysaya0y^saya]-Ey[ysaya2]-Ey[y^saya2]+2E[ysayay^saya])

gunakan untuk menggantikan:EyEY0[(Ysaya0)2]=Ey[ysaya2]

=1Nsaya=1N(Ey[ysaya2]+Ey[ysaya^2]-2Ey[ysaya]Ey[y^saya]-Ey[ysaya2]-Ey[y^saya2]+2E[ysayay^saya])

=2Nsaya=1N(E[ysayay^saya]-Ey[ysaya]Ey[y^saya])

Untuk menyelesaikan, perhatikan bahwa , yang menghasilkan:CHaiv(x,w)=E[xw]-E[x]E[w]

=2Nsaya=1NCHaiv(ysaya,y^saya)

5
Saya harus menunjukkan bahwa namanya dieja "Ryan Tibshirani" Rob Tibshirani
robert tibshirani

2
Selamat datang di situs kami, Rob - ini adalah hak istimewa untuk membawa Anda ke sini, jika hanya untuk memperbaiki kesalahan! Jika Anda melihat lagi, beri tahu kami: dan tentu saja kami akan senang atas jawaban apa pun yang Anda (atau siswa Anda) kirimkan. Karya Anda direferensikan secara luas di situs ini, terutama ESL dan Intro ke Bootstrap.
whuber

Pikiran menjelaskan ? Juga, adalah ? EyEY0[(Ysaya0)2]=Ey[ysaya2]2EyEY0[Ysaya0y^saya]=2Ey[EY0[Ysaya0]EY0[y^saya]]=2Ey[ysaya]Ey[y^saya]
Shookie

7

Biarkan , kalau begitu f^(xsaya)=y^saya

ω=Ey[Haihal]=Ey[Errsayan-err¯]=Ey[Errsayan]-Ey[err¯]=Ey[1Nsaya=1NEY0[L.(Ysaya0,f^(xsaya))]-Ey[1Nsaya=1NL.(ysaya,f^(xsaya))]=1Nsaya=1NEyEY0[(Ysaya0-y^saya)2]-Ey[(ysaya-y^saya)2]=1Nsaya=1NEyEY0[(Ysaya0)2]+EyEY0[y^saya2]-2EyEY0[Ysaya0y^saya]-Ey[ysaya2]-Ey[y^saya2]+2Ey[ysayay^saya]=1Nsaya=1NEy[ysaya2]+Ey[y^saya2]-2Ey[ysaya]Ey[y^saya]-Ey[ysaya2]-Ey[y^saya2]+2Ey[ysayay^saya]=2Nsaya=1NEy[ysayay^saya]-Ey[ysaya]Ey[y^saya]=2Nsaya=1NEy[ysayay^saya-ysayaEy[y^saya]-Ey[ysaya]y^saya+Ey[ysaya]Ey[y^saya]]=2Nsaya=1NEy[(y^saya-Ey[y^saya])([ysaya-Ey[ysaya])]=2Nsaya=1NcHaiv(y^saya,ysaya)
QED

1
Empat langkah terakhir dapat disederhanakan dengan properti kovarians ini:E[xw]-E[x]E[w]=CHaiv(x,w)
cd98
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.