Memahami derivasi tradeoff varians

Saya membaca bab bias-varians dari unsur-unsur pembelajaran statistik dan saya ragu dalam rumus di halaman 29. Biarkan data muncul dari model sehingga

Y = f (x) + ϵ

$Y = f(x)+\epsilon$ mana adalah bilangan acak dengan nilai yang diharapkan dan Variance . Biarkan nilai kesalahan model yang diharapkan adalah mana adalah prediksi dari pelajar kita. Menurut buku itu, kesalahannya adalah

ϵ

$\epsilon$

\hat{ϵ} = E [ϵ] = 0

$\hat{\epsilon} = E[\epsilon]=0$

E [(ϵ - \hat{ϵ})^{2}] = E [ϵ^{2}] = σ^{2}

$E[(\epsilon - \hat\epsilon)^2]=E[\epsilon^2]=\sigma^2$

E [(Y - f_{k} (x))^{2}]

$E[(Y-f_k(x))^2]$

f_{k} (x)

$f_k(x)$

x

$x$

E [(Y - f_{k} (x))^{2}] = σ^{2} + B i a s (f_{k})^{2} + V a r (f_{k} (x)) .

$E[(Y-f_k(x))^2]=\sigma^2+Bias(f_k)^2+Var(f_k(x)).$

Pertanyaan saya adalah mengapa istilah bias bukan 0? mengembangkan rumus kesalahan yang saya lihat

E [(Y - f_{k} (x))^{2}] = E [(f (x) + ϵ - f_{k} (x))^{2}] = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] = V a r (f_{k} (x)) + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E[(Y-f_k(x))^2]=\\ E[(f(x)+\epsilon-f_k(x))^2]=\\ E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]=\\ Var(f_k(x))+2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

sebagai adalah angka acak independen $\epsilon$ $2E[(f(x)-f_k(x))\epsilon]=2E[(f(x)-f_k(x))]E[\epsilon]=0$

Dimana saya salah?

— emanuele
sumber

Jawaban:

Anda tidak salah, tetapi Anda membuat kesalahan dalam satu langkah sejak . adalah . $E[(f(x)-f_k(x))^2] \ne Var(f_k(x))$ $E[(f(x)-f_k(x))^2]$ $\text{MSE}(f_k(x)) = Var(f_k(x)) + \text{Bias}^2(f_k(x))$

\begin{aligned} E [(Y - f_{k} (x))^{2}] & = E [(f (x) + ϵ - f_{k} (x))^{2}] \\ = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] \\ = E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2} \\ = V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2} . \end{aligned}

$\begin{align*} E[(Y-f_k(x))^2]& = E[(f(x)+\epsilon-f_k(x))^2] \\ &= E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]\\ &= E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2 \\ & = Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2. \end{align*}$

Catatan: $E[(f_k(x)-E(f_k(x)))(f(x)-E(f_k(x))] = E[f_k(x)-E(f_k(x))](f(x)-E(f_k(x))) = 0.$

— Greenparker
sumber

Dalam hal hasil biner, Apakah ada bukti setara dengan cross entropy sebagai ukuran kesalahan?

— emanuele

Itu tidak bekerja dengan sangat baik dengan respons biner. Lihat Kel 7.2 di edisi kedua "Elemen Pembelajaran Statistik".

— Matthew Drury

dapatkah Anda menjelaskan bagaimana Anda beralih dari ke ?

E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2}

$Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2$

— Antoine

Beberapa langkah lagi dari dekomposisi Bias - Variance

Memang, derivasi lengkap jarang diberikan dalam buku teks karena melibatkan banyak aljabar yang tidak menarik. Berikut adalah derivasi yang lebih lengkap menggunakan notasi dari buku "Elemen Pembelajaran Statistik" di halaman 223

Jika kita mengasumsikan bahwa dan dan maka kita dapat memperoleh ekspresi untuk kesalahan prediksi yang diharapkan dari kecocokan regresi pada input menggunakan squared error loss $Y = f(X) + \epsilon$ $E[\epsilon] = 0$ $Var(\epsilon) = \sigma^2_\epsilon$ $\hat f(X)$ $X = x_0$

E r r (x_{0}) = E [(Y - \hat{f} (x_{0}))^{2} | X = x_{0}]

$Err(x_0) = E[ (Y - \hat f(x_0) )^2 | X = x_0]$

Untuk kesederhanaan notasi, biarkan , dan ingat bahwa dan $\hat f(x_0) = \hat f$ $f(x_0) = f$ $E[f] = f$ $E[Y] = f$

\begin{aligned} E [(Y - \hat{f})^{2}] & = E [(Y - f + f - \hat{f})^{2}] \\ = E [(y - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [(f - \hat{f}) (y - f)] \\ = E [(f + ϵ - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [f Y - f^{2} - \hat{f} Y + \hat{f} f] \\ = E [ϵ^{2}] + E [(f - \hat{f})^{2}] + 2 (f^{2} - f^{2} - f E [\hat{f}] + f E [\hat{f}]) \\ = σ_{ϵ}^{2} + E [(f - \hat{f})^{2}] + 0 \end{aligned}

$\begin{aligned} E[ (Y - \hat f)^2 ] &= E[(Y - f + f - \hat f )^2] \\ & = E[(y - f)^2] + E[(f - \hat f)^2] + 2 E[(f - \hat f)(y - f)] \\ & = E[(f + \epsilon - f)^2] + E[(f - \hat f)^2] + 2E[fY - f^2 - \hat f Y + \hat f f] \\ & = E[\epsilon^2] + E[(f - \hat f)^2] + 2( f^2 - f^2 - f E[\hat f] + f E[\hat f] ) \\ & = \sigma^2_\epsilon + E[(f - \hat f)^2] + 0 \end{aligned}$

Untuk istilah kita dapat menggunakan trik yang sama seperti di atas, menambah dan mengurangi untuk mendapatkan $E[(f - \hat f)^2]$ $E[\hat f]$

\begin{aligned} E [(f - \hat{f})^{2}] & = E [(f + E [\hat{f}] - E [\hat{f}] - \hat{f})^{2}] \\ = E {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = B saya Sebuah s^{2} [\hat{f}] + V Sebuah r [\hat{f}] \end{aligned}

$\begin{aligned} E[(f - \hat f)^2] & = E[(f + E[\hat f] - E[\hat f] - \hat f)^2] \\ & = E \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = Bias^2[\hat f] + Var[\hat f] \end{aligned}$

Menyatukannya

E [(Y - \hat{f})^{2}] = σ_{ϵ}^{2} + B saya Sebuah s^{2} [\hat{f}] + V Sebuah r [\hat{f}]

$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$

Beberapa komentar tentang mengapa $E[\hat f Y] = f E[\hat f]$

Diambil dari Alecos Papadopoulos di sini

Ingat bahwa adalah prediktor yang kami buat berdasarkan pada titik data sehingga kita dapat menulis untuk mengingatnya. $\hat f$ $m$ $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$ $\hat f = \hat f_m$

Di sisi lain adalah prediksi yang kami buat pada titik data baru dengan menggunakan model yang dibangun pada titik data atas. Jadi Mean Squared Error dapat ditulis sebagai $Y$ $(x^{(m+1)},y^{(m+1)})$ $m$

E [{\hat{f}}_{m} (x^{(m + 1)}) - y^{(m + 1)}]^{2}

$E[\hat f_m(x^{(m+1)}) - y^{(m+1)}]^2$

Memperluas persamaan dari bagian sebelumnya

E [{\hat{f}}_{m} Y] = E [{\hat{f}}_{m} (f + ϵ)] = E [{\hat{f}}_{m} f + {\hat{f}}_{m} ϵ] = E [{\hat{f}}_{m} f] + E [{\hat{f}}_{m} ϵ]

$E[\hat f_m Y]=E[\hat f_m (f+ \epsilon)]=E[\hat f_m f+\hat f_m \epsilon]=E[\hat f_m f]+E[\hat f_m \epsilon]$

Bagian terakhir dari persamaan dapat dilihat sebagai

E [{\hat{f}}_{m} (x^{(m + 1)}) \cdot ϵ^{(m + 1)}] = 0

$E[\hat f_m(x^{(m+1)}) \cdot \epsilon^{(m+1)}] = 0$

Karena kami membuat asumsi berikut tentang titik : $x^{(m+1)}$

Itu tidak digunakan ketika membangun $\hat f_m$
Ini tidak tergantung pada semua pengamatan lain $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$
Tidak tergantung pada $\epsilon^{(m+1)}$

Sumber lain dengan derivasi penuh

— Xavier Bourret Sicotte
sumber

Mengapa ? Saya tidak berpikir dan adalah independen, karena pada dasarnya dibangun menggunakan .

E [\hat{f} Y] = f E [\hat{f}]

$E[\hat{f}Y]=f E[\hat{f}]$

Y

$Y$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

Y

$Y$

— Felipe Pérez

Tetapi pada dasarnya pertanyaannya sama, mengapa ? Keacakan berasal dari kesalahan jadi saya tidak melihat mengapa dan bebas, dan karenanya, .

E [\hat{f} ϵ] = 0

$E[\hat{f}\epsilon]=0$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

E (\hat{f} ϵ) = 0

$\mathbb{E}(\hat{f}\epsilon)=0$

— Felipe Pérez

Dari persiapan Anda tampaknya bahwa sampel masuk dan keluar dari perspektif sampel sangat penting. Begitu? Jika kita hanya bekerja dalam sampel dan, kemudian, lihat sebagai residual pengorbanan varians bias menghilang?

ϵ

$\epsilon$

— markowitz

@ FelipePérez sejauh yang saya mengerti, keacakan berasal dari split tes kereta (poin yang berakhir di set pelatihan dan memberikan sebagai prediktor terlatih). Dengan kata lain, varian berasal dari semua himpunan bagian yang mungkin dari set data tetap yang diberikan yang bisa kita ambil sebagai set pelatihan. Karena kumpulan data diperbaiki, tidak ada keacakan yang datang dari dan oleh karena itu dan independen.

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

— Alberto Santini

Memahami derivasi tradeoff varians

Beberapa langkah lagi dari dekomposisi Bias - Variance

Beberapa komentar tentang mengapaE[ f^Y] = fE[ f^]E[f^Y]=fE[f^]E[\hat f Y] = f E[\hat f]

Sumber lain dengan derivasi penuh

Beberapa komentar tentang mengapa $E[\hat f Y] = f E[\hat f]$