Sebuah gambar terkadang bernilai ribuan kata, jadi izinkan saya berbagi satu dengan Anda. Di bawah ini Anda dapat melihat ilustrasi yang berasal dari kertas kerja Bradley Efron (1977) paradoks Stein dalam statistik . Seperti yang Anda lihat, apa yang dilakukan estimator Stein adalah memindahkan setiap nilai lebih dekat ke rata-rata besar. Itu membuat nilai lebih besar dari rata-rata besar lebih kecil, dan nilai lebih kecil dari rata-rata besar, lebih besar. Penyusutan yang kami maksud adalah memindahkan nilai ke rata-rata , atau menuju nol dalam beberapa kasus - seperti regresi yang diatur - yang menyusutkan parameter ke nol.
Tentu saja, ini bukan hanya tentang penyusutan itu sendiri, tetapi apa yang telah dibuktikan oleh Stein (1956) dan James dan Stein (1961) , adalah bahwa estimator Stein mendominasi estimator kemungkinan maksimum dalam hal total squared error,
Eμ(∥μ^JS−μ∥2)<Eμ(∥μ^MLE−μ∥2)
di mana , adalah estimator Stein dan , di mana kedua penduga diperkirakan pada sampel . Buktinya diberikan di koran asli dan lampiran dari makalah yang Anda rujuk. Dalam bahasa Inggris biasa, apa yang telah mereka tunjukkan adalah bahwa jika Anda secara bersamaan membuat tebakan, maka dalam hal kesalahan kuadrat total, Anda akan melakukan yang lebih baik dengan mengecilkannya, dibandingkan dengan menempel pada tebakan awal Anda.μ=(μ1,μ2,…,μp)′μ^JSiμ^MLEi=xix1,x2,…,xpp>2
Akhirnya, estimator Stein tentu bukan satu-satunya estimator yang memberikan efek penyusutan. Untuk contoh lain, Anda dapat memeriksa entri blog ini , atau buku analisis data Bayesian yang dirujuk oleh Gelman et al. Anda juga dapat memeriksa utas tentang regresi yang diatur, misalnya Masalah apa yang diselesaikan metode penyusutan? , atau Kapan menggunakan metode regularisasi untuk regresi? , untuk aplikasi praktis lain dari efek ini.