Bias optimisme - perkiraan kesalahan prediksi

9

Buku Elemen Pembelajaran Statistik (tersedia dalam PDF online) membahas bias optimisim (7.21, halaman 229). Ini menyatakan bahwa bias optimisme adalah perbedaan antara kesalahan pelatihan dan kesalahan dalam sampel (kesalahan diamati jika kita sampel nilai-nilai hasil baru di masing-masing poin pelatihan asli) (per di bawah).

masukkan deskripsi gambar di sini

Selanjutnya, ia menyatakan bias optimisme ini ( $\omega$ ) sama dengan kovarians dari estimasi nilai y kami dan nilai y aktual (rumus per di bawah). Saya mengalami kesulitan memahami mengapa rumus ini menunjukkan bias optimisme; naif saya akan berpikir bahwa kovarians yang kuat antara aktual dan prediksi hanya menggambarkan akurasi - bukan optimisme. Beri tahu saya jika seseorang dapat membantu dengan derivasi formula atau berbagi intuisi. $y$ $y$

masukkan deskripsi gambar di sini

error bias validation

— pengguna1885116
sumber

Sangat membantu, terima kasih! Saya pikir salah satu persamaan memiliki kesalahan ketik kecil dan seharusnya:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y}_i^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

— Sleepster

8

Mari kita mulai dengan intuisi.

Tidak ada yang salah dengan menggunakan untuk memprediksi . Bahkan, tidak menggunakannya berarti kita membuang informasi berharga. Namun, semakin kita bergantung pada informasi yang terkandung dalam untuk menghasilkan prediksi kita, semakin optimis penaksir kita. $y_i$ $\hat{y}_i$ $y_i$

Pada satu ekstrim, jika hanyalah , Anda akan memiliki prediksi sampel yang sempurna ( ), tetapi kami cukup yakin bahwa prediksi out-of-sample akan menjadi buruk. Dalam hal ini (mudah untuk memeriksa sendiri), derajat kebebasan akan menjadi . $\hat{y}_i$ $y_i$ $R^2 = 1$ $df(\hat{y}) = n$

Di sisi lain, jika Anda menggunakan mean sampel : untuk semua , maka derajat kebebasan Anda hanya 1. $y$ $y_i = \hat{y_i} = \bar{y}$ $i$

Lihat selebaran yang bagus ini oleh Ryan Tibshirani untuk detail lebih lanjut tentang intuisi ini

Sekarang bukti yang mirip dengan jawaban yang lain, tetapi dengan sedikit penjelasan

Ingat bahwa, menurut definisi, optimisme rata-rata adalah:

ω = E_{y} (E r r_{saya n} - \bar{e r r})

$\omega = E_y (Err_{in} - \overline{err})$

= E_{y} (\frac{1}{N} \sum_{saya = 1}^{N} E_{Y^{0}} [L. (Y_{saya}^{0}, \hat{f} (x_{saya}) | T)] - \frac{1}{N} \sum_{saya = 1}^{N} L. (y_{saya}, \hat{f} (x_{saya})))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ L(Y_i^0, \hat{f} (x_i) \; |\; T) \right] - {1 \over N} \sum_{i=1}^N L(y_i, \hat{f} (x_i) ) \right)$

Sekarang gunakan fungsi kerugian kuadratik dan perluas istilah kuadrat:

= E_{y} (\frac{1}{N} \sum_{saya = 1}^{N} E_{Y^{0}} [(Y_{saya}^{0} - {\hat{y}}_{saya})^{2}] - \frac{1}{N} \sum_{saya = 1}^{N} (y_{saya} - {\hat{y}}_{saya})^{2}))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ (Y_i^0 - \hat{y}_i)^2 \right] - {1 \over N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 ) \right)$

= \frac{1}{N} \sum_{saya = 1}^{N} (E_{y} E_{Y^{0}} [(Y_{saya}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{saya}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{saya}^{0} {\hat{y}}_{saya}] - E_{y} [y_{saya}^{2}] - E_{y} [{\hat{y}}_{saya}^{2}] + 2 E [y_{saya} {\hat{y}}_{saya}])

$= {1 \over N} \sum_{i=1}^N\left( E_y E_{Y^0}[(Y_i^0)^2] + E_y E_{Y^0} [\hat{y}_i^2] -2 E_y E_{Y^0} [Y_i^0 \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

gunakan untuk menggantikan: $E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

= \frac{1}{N} \sum_{saya = 1}^{N} (E_{y} [y_{saya}^{2}] + E_{y} [{\hat{y_{saya}}}^{2}] - 2 E_{y} [y_{saya}] E_{y} [{\hat{y}}_{saya}] - E_{y} [y_{saya}^{2}] - E_{y} [{\hat{y}}_{saya}^{2}] + 2 E [y_{saya} {\hat{y}}_{saya}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y_i}^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

= \frac{2}{N} \sum_{saya = 1}^{N} (E [y_{saya} {\hat{y}}_{saya}] - E_{y} [y_{saya}] E_{y} [{\hat{y}}_{saya}])

$= {2 \over N} \sum_{i=1}^N \left( E[y_i \hat{y}_i] - E_y [y_i] E_y[ \hat{y}_i] \right)$

Untuk menyelesaikan, perhatikan bahwa , yang menghasilkan: $Cov(x, w) = E[xw] - E[x]E[w]$

= \frac{2}{N} \sum_{saya = 1}^{N} C Hai v (y_{saya}, {\hat{y}}_{saya})

$= {2 \over N} \sum_{i=1}^N Cov(y_i, \hat{y}_i)$

— cd98
sumber

5

Saya harus menunjukkan bahwa namanya dieja "Ryan Tibshirani" Rob Tibshirani

— robert tibshirani

2

Selamat datang di situs kami, Rob - ini adalah hak istimewa untuk membawa Anda ke sini, jika hanya untuk memperbaiki kesalahan! Jika Anda melihat lagi, beri tahu kami: dan tentu saja kami akan senang atas jawaban apa pun yang Anda (atau siswa Anda) kirimkan. Karya Anda direferensikan secara luas di situs ini, terutama ESL dan Intro ke Bootstrap.

— whuber

Pikiran menjelaskan ? Juga, adalah ?

E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] = E_{y} [y_{i}^{2}]

$E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] = 2 E_{y} [E_{Y^{0}} [Y_{i}^{0}] E_{Y^{0}} [{\hat{y}}_{i}]] = 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]

$2 E_y E_{Y^0} [Y_i^0 \hat{y}_i]=2 E_y [E_{Y^0} [Y_i^0]E_{Y^0}[\hat{y}_i]]=2 E_y [y_i] E_y[ \hat{y}_i]$

— Shookie

7

Biarkan , kalau begitu $\hat{f}(x_i)=\hat{y}_i$

\begin{aligned} ω & = E_{y} [Hai hal] \\ = E_{y} [E r r_{saya n} - \bar{e r r}] \\ = E_{y} [E r r_{saya n}] - E_{y} [\bar{e r r}] \\ = E_{y} [\frac{1}{N} \sum_{saya = 1}^{N} E_{Y^{0}} [L. (Y_{saya}^{0}, \hat{f} (x_{saya}))] - E_{y} [\frac{1}{N} \sum_{saya = 1}^{N} L. (y_{saya}, \hat{f} (x_{saya}))] \\ = \frac{1}{N} \sum_{saya = 1}^{N} E_{y} E_{Y^{0}} [(Y_{saya}^{0} - {\hat{y}}_{saya})^{2}] - E_{y} [(y_{saya} - {\hat{y}}_{saya})^{2}] \\ = \frac{1}{N} \sum_{saya = 1}^{N} E_{y} E_{Y^{0}} [(Y_{saya}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{saya}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{saya}^{0} {\hat{y}}_{saya}] - E_{y} [y_{saya}^{2}] - E_{y} [{\hat{y}}_{saya}^{2}] + 2 E_{y} [y_{saya} {\hat{y}}_{saya}] \\ = \frac{1}{N} \sum_{saya = 1}^{N} E_{y} [y_{saya}^{2}] + E_{y} [{\hat{y}}_{saya}^{2}] - 2 E_{y} [y_{saya}] E_{y} [{\hat{y}}_{saya}] - E_{y} [y_{saya}^{2}] - E_{y} [{\hat{y}}_{saya}^{2}] + 2 E_{y} [y_{saya} {\hat{y}}_{saya}] \\ = \frac{2}{N} \sum_{saya = 1}^{N} E_{y} [y_{saya} {\hat{y}}_{saya}] - E_{y} [y_{saya}] E_{y} [{\hat{y}}_{saya}] \\ = \frac{2}{N} \sum_{saya = 1}^{N} E_{y} [y_{saya} {\hat{y}}_{saya} - y_{saya} E_{y} [{\hat{y}}_{saya}] - E_{y} [y_{saya}] {\hat{y}}_{saya} + E_{y} [y_{saya}] E_{y} [{\hat{y}}_{saya}]] \\ = \frac{2}{N} \sum_{saya = 1}^{N} E_{y} [({\hat{y}}_{saya} - E_{y} [{\hat{y}}_{saya}]) ([y_{saya} - E_{y} [y_{saya}])] \\ = \frac{2}{N} \sum_{saya = 1}^{N} c Hai v ({\hat{y}}_{saya}, y_{saya}) \end{aligned}

$\begin{aligned} \omega &= E_\boldsymbol{y}[op]\\ &=E_\boldsymbol{y}[Err_{in}-\overline{err}]\\ &=E_\boldsymbol{y}[Err_{in}]-E_\boldsymbol{y}[\overline{err}]\\ &=E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}E_{Y^0}[L(Y_i^0,\hat{f}(x_i))]-E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}L(y_i,\hat{f}(x_i))]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[(Y_i^0-\hat{y}_i)^2]-E_\boldsymbol{y}[(y_i-\hat{y}_i)^2]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[({Y_i^0})^2]+E_\boldsymbol{y}E_{Y^0}[{\hat{y}_i}^2]-2E_\boldsymbol{y}E_{Y^0}[Y_i^0\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i^2]+E_\boldsymbol{y}[\hat{y}_i^2]-2E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i]-E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i-y_iE_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i]\hat{y}_i+E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[(\hat{y}_i-E_\boldsymbol{y}[\hat{y}_i])([y_i-E_\boldsymbol{y}[y_i])]\\ &=\frac{2}{N}\sum_{i=1}^{N}cov(\hat{y}_i,y_i) \end{aligned}$ QED

— Maciej Lazarewicz
sumber

1

Empat langkah terakhir dapat disederhanakan dengan properti kovarians ini:

E [x w] - E [x] E [w] = C o v (x, w)

$E[x w ] - E[x] E[w] = Cov(x, w)$

— cd98