Dekomposisi MSE menjadi Variance dan Bias Squared


23

Dalam menunjukkan bahwa MSE dapat didekomposisi menjadi varians plus kuadrat Bias, bukti di Wikipedia memiliki langkah, disorot dalam gambar. Bagaimana cara kerjanya? Bagaimana harapan didorong ke dalam produk dari langkah ke 3 ke langkah ke 4? Jika kedua ketentuan tersebut independen, tidakkah harapan tersebut dapat diterapkan pada kedua ketentuan tersebut? dan jika tidak, apakah langkah ini valid?masukkan deskripsi gambar di sini

Jawaban:


22

Triknya adalah adalah konstanta.E(θ^)θ


1
Oh begitu. Satu-satunya yang tidak diketahui di sini adalah estimator. Kanan?
statBeginner

2
Iya nih. Mengambil ekspektasi berarti bahwa penaksir pergi ke apa pun yang diperkirakannya, itulah yang membuat menuju ke 0.E(θ^-E(θ^))
AdamO

5
Maaf, kalimat itu tidak masuk akal bagi saya. Jika penduga pergi ke apa pun yang ia perkirakan, bukankah itu membuatnya tidak bias? Bisakah dijelaskan dengan mengatakan = = = 0? E ( θ ) - E ( E ( θ ) ) E ( θ ) - E ( θ )E(θ^E(θ^))E(θ^)E(E(θ^))E(θ^)E(θ^)
user1158559

@ user1158559 istilah produk di tengah adalah waktu yang konstan sesuatu dengan nilai yang diharapkan 0. Bahkan jika theta-hat bias, itu masih waktu yang konstan 0.
AdamO

3
E ( c ) c E ( ( E ( θ ) - θ ) 2 ) 0 x p ( x )E(θ^)-θ adalah variabel dan bukan konstanta. Selain itu, triknya kurang sepele dan dengan sebuah konstanta tidak menjadi 0 sebagai default (misalnya ). Trik sebenarnya terletak pada kenyataan bahwa adalah konstanta (dan dapat diambil dari integral) sehinggaE(c)cE((E(θ^)-θ)2)0xhal(x)(xp(x))p(x)=(xp(x))p(x)=(xhal(x))1=(xhal(x))
Sextus Empiricus

4

Jawaban Adam benar tentang tipuan yang adalah konstanta. Namun itu membantu untuk menemukan hasil akhir, dan tidak jelas menjelaskan pertanyaan tentang langkah spesifik dalam artikel wikipedia (sunting: yang saya lihat sekarang adalah ambigu tentang sorot dan langkah dari baris tiga ke baris empat).E(θ^)-θ

(perhatikan pertanyaannya adalah tentang variabel , yang berbeda dari konstanta dalam jawaban Adam. Saya menulis ini salah dalam komentar saya. Memperluas persyaratan untuk kejelasan lebih lanjut: variabelnya adalah perkiraan , konstanta adalah harapan dari perkiraan ini dan nilai sebenarnya ) E [ θ ] - θ θ E [ θ ] θE[θ^]θ^ E[θ^]θθ^E[θ^]θ

Trik 1: Pertimbangkan

variabelx=θ^

konstantaa=E[θ^]

dan konstantab=θ

Kemudian relasi dapat ditulis dengan mudah menggunakan aturan transformasi yang menyatakan momen variabel tentang dalam hal momen variabel tentang .b x axbxa

E[(xb)n]=i=0n(ni)E[(xa)i](ab)ni

Trik 2: Untuk momen kedua rumus di atas memiliki tiga istilah dalam penjumlahan. Kita dapat menghilangkan salah satunya (case ) karenaE [ ( θ - E [ θ ] ) ] = E [ θ ] -i=1E[(θ^-E[θ^])]=E[θ^]-E[E[θ^]]=0

Di sini orang juga dapat membuat argumen dengan sesuatu yang konstan. Yaitu jika adalah konstanta dan menggunakan , yang merupakan konstanta, Anda mendapatkan .a a = EE(Sebuah)=SebuahSebuahE ( E ( θ ) ) = E ( θ )Sebuah=E(θ)E(E(θ))=E(θ)

Lebih intuitif: kami membuat momen tentang , sama dengan momen pusat (dan momen pusat ganjil adalah nol). Kami mendapat sedikit tautologi. Dengan mengurangi rata-rata dari variabel, , kita menghasilkan variabel dengan mean nol. Dan, rata-rata 'variabel dengan rata-rata nol' adalah nol.axSebuahθ^-E[θ^]


Artikel wikipedia menggunakan dua trik ini masing-masing di baris ketiga dan keempat.

  • Harapan tersarang di baris ketiga

    E[(θ^-E(θ^))(E(θ^)-θ)]

    disederhanakan dengan mengambil bagian konstan luarnya (trik 1).(E(θ^)-θ)

  • Istilah diselesaikan (sama dengan nol) dengan menggunakan fakta bahwa variabel memiliki mean nol (trik 2).E(θ^-E(θ^))θ^-E(θ^)


3

E(θ^)-θ bukan konstanta.

Komentar @ user1158559 sebenarnya adalah yang benar:

E[θ^-E(θ^)]=E(θ^)-E[E(θ^)]=E(θ^)-E(θ^)=0

Saya tidak melihat apa yang ingin Anda perlihatkan. Juga bias mungkin bukan nol tetapi itu tidak berarti bahwa itu tidak konstan.
Michael R. Chernick

Ini bukan konstanta karena mana adalah data pelatihan yang diberikan, yang juga merupakan variabel acak. Dengan demikian, harapannya tidak konstan. θ^=f(D)D
little_monster

Juga, fakta bahwa itu bukan konstanta atau tidak tidak dapat menjelaskan bagaimana langkah 4 mungkin dari langkah 3. Di sisi lain, komentar @ user1158559 menjelaskan hal itu.
little_monster

@Michael, ada kebingungan tentang pertanyaan itu. Bagian yang disorot berisi ungkapan ini , tetapi dalam teks pertanyaan disebutkan bahwa itu bukan tentang perubahan dari baris ketiga ke baris keempat, mengubah sarang harapan. E(θ^-E(θ^))=0
Sextus Empiricus
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.