Dekomposisi Bias-varians

Dalam bagian 3.2 dari Pengenalan Pola Uskup dan Pembelajaran Mesin , dia membahas dekomposisi bias-varians, yang menyatakan bahwa untuk fungsi kerugian kuadrat, kerugian yang diharapkan dapat didekomposisi menjadi istilah bias kuadrat (yang menggambarkan seberapa jauh rata-rata prediksi dari yang benar. model), istilah varians (yang menggambarkan penyebaran prediksi di sekitar rata-rata), dan istilah kebisingan (yang memberikan kebisingan intrinsik data).

Bisakah dekomposisi bias-varians dilakukan dengan fungsi kerugian selain kerugian kuadrat?
Untuk dataset model yang diberikan, apakah ada lebih dari satu model yang kehilangan yang diharapkan adalah minimum dari semua model, dan jika demikian, apakah itu berarti bahwa mungkin ada kombinasi yang berbeda dari bias dan varians yang menghasilkan kerugian yang diharapkan minimum yang sama?
Jika suatu model melibatkan regularisasi, adakah hubungan matematis antara bias, varians, dan koefisien regularisasi $\lambda$ ?
Bagaimana Anda bisa menghitung bias jika Anda tidak tahu model yang sebenarnya?
Apakah ada situasi di mana lebih masuk akal untuk meminimalkan bias atau varians daripada kerugian yang diharapkan (jumlah bias kuadrat dan varians)?

— Vivek Subramanian
sumber

... kerugian [kesalahan kuadrat] yang diharapkan dapat didekomposisi menjadi istilah bias kuadrat (yang menggambarkan seberapa jauh prediksi rata-rata dari model sebenarnya), istilah varians (yang menggambarkan penyebaran prediksi di sekitar rata-rata), dan istilah kebisingan (yang memberikan suara intrinsik data).

Ketika melihat dekomposisi kesalahan kehilangan kuadrat Saya hanya melihat dua istilah: satu untuk bias dan satu lagi untuk varian estimator atau prediktor, . Tidak ada istilah kebisingan tambahan dalam kerugian yang diharapkan. Sebagaimana seharusnya karena variabilitas adalah variabilitas , bukan dari sampel itu sendiri.

E_{θ} [(θ - δ (X_{1 : n}))^{2}] = (θ - E_{θ} [δ (X_{1 : n})])^{2} + E_{θ} [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}]

$\mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]=(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\mathbb{E}_\theta[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]$

δ (X_{1 : n})

$\delta(X_{1:n})$

δ (X_{1 : n})

$\delta(X_{1:n})$

Bisakah dekomposisi bias-varians dilakukan dengan fungsi kerugian selain kerugian kuadrat?

Interpretasi saya terhadap dekomposisi bias + varian kuadrat [dan cara saya mengajarkannya] adalah bahwa ini adalah statistik yang setara dengan Teorema Pythagore, yaitu bahwa jarak kuadrat antara estimator dan titik dalam himpunan tertentu adalah jumlah dari jarak kuadrat antara estimator dan himpunan, ditambah jarak kuadrat antara proyeksi ortogonal pada himpunan dan titik dalam himpunan. Kerugian berdasarkan jarak dengan nFor model data yang diberikan, apakah ada lebih dari satu model yang kehilangan yang diharapkan adalah minimum dari semua model, dan jika demikian, apakah itu berarti bahwa mungkin ada kombinasi yang berbeda dari bias dan varians yang menghasilkan Kerugian minimum yang diharapkan yang sama dari proyeksi orthogonal, yaitu, produk dalam, yaitu, pada dasarnya ruang Hilbert, memenuhi dekomposisi ini.

Untuk dataset model yang diberikan, apakah ada lebih dari satu model yang kehilangan yang diharapkan adalah minimum dari semua model, dan jika demikian, apakah itu berarti bahwa mungkin ada kombinasi yang berbeda dari bias dan varians yang menghasilkan kerugian yang diharapkan minimum yang sama?

Pertanyaannya tidak jelas: jika secara minimum lebih dari model, yang Anda maksud adalah maka ada banyak contoh model statistik dan keputusan terkait dengan kerugian yang diharapkan konstan (atau risiko ). Ambil contoh MLE dari rata-rata Normal.

min_{θ} E_{θ} [(θ - δ (X_{1 : n}))^{2}]

$\min_\theta \mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]$

Bagaimana Anda bisa menghitung bias jika Anda tidak tahu model yang sebenarnya?

Dalam arti umum, bias adalah jarak antara model yang sebenarnya dan model terdekat dalam keluarga distribusi yang diasumsikan. Jika model yang sebenarnya tidak diketahui, bias dapat dipastikan dengan bootstrap.

Apakah ada situasi di mana lebih masuk akal untuk meminimalkan bias atau varians daripada kerugian yang diharapkan (jumlah bias kuadrat dan varians)?

Ketika mempertimbangkan fungsi kerugian lain seperti mendorong ke nol menempatkan sebagian besar evaluasi pada bias sementara mendorong hingga tak terbatas mengalihkan fokus pada varian.

(θ - E_{θ} [δ (X_{1 : n})])^{2} + α [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}] 0 < α

$(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\alpha[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]\qquad 0<\alpha$

α

$\alpha$

α

$\alpha$

— Xi'an
sumber

Istilah noise yang dirujuk OP disebabkan oleh fakta bahwa estimator bukan untuk parameter tetapi untuk fungsi

dalam model

, di mana noise (independen)

diasumsikan memiliki rata-rata nol dan varians

. Menambahkan dan mengurangkan pertama

maka

f

$f$

Y = f (X) + ϵ

$Y = f(X) + \epsilon$

ϵ

$\epsilon$

σ_{ϵ}

$\sigma_\epsilon$

f (X)

$f(X)$

E [\hat{f} (X)]

$E[\hat{f}(X)]$

, salah satu tiba di dekomposisi disebutkan

E [(Y - f (X))^{2} | X = x]

$E[(Y-f(X))^2 | X=x]$

σ_{ϵ}^{2} + {Bias}^{2} \hat{f} (x) + Var \hat{f} (x)

$\sigma^2_\epsilon + \operatorname{Bias}^2 \hat{f}(x) + \operatorname{Var} \hat{f}(x)$

— Miguel

Ini adalah asumsi

independen dari

, yang tampaknya tidak realistis asumsi.

\hat{f}

$\hat f$

ϵ

$\epsilon$

— Xi'an

Hmm, tentu saja Anda benar. Tapi saya pikir masalahnya adalah artefak dari derivasi ceroboh saya. Lihat hal.223 dari ESLII Hastie & Tibshirani

— Miguel

ϵ

$\epsilon$

\hat{f}

$\hat{f}$