Apa aturan .632+ dalam bootstrap?

Di sini @gung membuat referensi ke aturan .632+. Pencarian Google cepat tidak menghasilkan jawaban yang mudah dimengerti tentang apa arti aturan ini dan untuk tujuan apa aturan itu digunakan. Apakah seseorang tolong jelaskan aturan .632+?

Saya akan sampai ke penaksir 0,632, tetapi itu akan menjadi pengembangan yang agak panjang:

Misalkan kita ingin memprediksi dengan menggunakan fungsi , di mana dapat bergantung pada beberapa parameter yang diperkirakan menggunakan data , misal$Y$$X$$f$$f$$(\mathbf{Y}, \mathbf{X})$$f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

Perkiraan kesalahan prediksi yang naif adalah mana adalah beberapa fungsi kerugian, misalnya kuadrat kesalahan hilang. Ini sering disebut kesalahan pelatihan. Efron et al. menyebutnya tingkat kesalahan jelas atau tingkat penggantian. Ini tidak terlalu baik karena kami menggunakan data kami agar sesuai dengan . Ini menghasilkan menjadi bias ke bawah. Anda ingin tahu seberapa baik model tidak dalam memprediksi nilai-nilai baru.

$$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ $L$$(x_i,y_i)$$f$$\overline{err}$$f$

Seringkali kita menggunakan validasi silang sebagai cara sederhana untuk memperkirakan kesalahan prediksi sampel tambahan yang diharapkan (seberapa baik model kita lakukan pada data tidak dalam set pelatihan kita?).

$$Err = \text{E}\left[ L(Y, f(X))\right]$$

Cara yang populer untuk melakukan ini adalah dengan melakukan -validasi silang. Pisahkan data Anda ke dalam grup (mis. 10). Untuk setiap kelompok , paskan model Anda pada kelompok tersisa dan ujilah pada kelompok ke- . Kesalahan prediksi ekstra-sampel tervalidasi silang kami hanya rata-rata mana adalah beberapa fungsi indeks yang menunjukkan partisi di mana pengamatan dialokasikan dan adalah nilai prediksi menggunakan data yang tidak ada dalam set .$K$$K$$k$$K-1$$k$

$$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$$ $\kappa$$i$$f_{-\kappa(i)}(x_i)$$x_i$$\kappa(i)$

Estimator ini kira-kira tidak bias untuk kesalahan prediksi sebenarnya ketika dan memiliki varian yang lebih besar dan lebih mahal secara komputasi untuk lebih besar . Jadi sekali lagi kita melihat bias-varians trade-off yang dimainkan.$K=N$$K$

Alih-alih validasi silang, kita bisa menggunakan bootstrap untuk memperkirakan kesalahan prediksi sampel tambahan. Resampling bootstrap dapat digunakan untuk memperkirakan distribusi sampling dari berbagai statistik. Jika data pelatihan kami adalah , maka kita dapat mempertimbangkan untuk mengambil sampel bootstrap (dengan penggantian) dari set ini mana setiap adalah satu set sampelSekarang kita dapat menggunakan sampel bootstrap kami untuk memperkirakan kesalahan prediksi sampel ekstra: mana adalah nilai prediksi pada dari model yang cocok dengan$\mathbf{X} = (x_1,\ldots,x_N)$$B$$\mathbf{Z}_1,\ldots,\mathbf{Z}_B$$\mathbf{Z}_i$$N$

$$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$$ $f_b(x_i)$$x_i$$b$ set data bootstrap. Sayangnya, ini bukan penaksir yang sangat baik karena sampel bootstrap yang digunakan untuk menghasilkan mungkin mengandung . Estimator bootstrap cuti-keluar-keluar menawarkan peningkatan dengan meniru cross-validation dan didefinisikan sebagai: mana adalah kumpulan indeks untuk sampel bootstrap yang tidak mengandung observasi , danadalah jumlah sampel tersebut. $f_b(x_i)$$x_i$ $$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$$ $C^{-i}$$i$$|C^{-i}|$$Err_{boot(1)}$memecahkan masalah overfitting, tetapi masih bias (yang ini bias ke atas). Bias ini disebabkan oleh pengamatan yang tidak berbeda dalam sampel bootstrap yang dihasilkan dari pengambilan sampel dengan penggantian. Jumlah rata-rata pengamatan yang berbeda dalam setiap sampel adalah sekitar (lihat jawaban ini untuk penjelasan mengapa Mengapa rata-rata setiap sampel bootstrap berisi sekitar dua pertiga pengamatan? ). Untuk mengatasi masalah bias, Efron dan Tibshirani mengusulkan estimator 0,632: mana$0.632N$ $$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$$ $$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ adalah estimasi naif kesalahan prediksi yang sering disebut kesalahan pelatihan. Idenya adalah untuk rata-rata estimasi bias ke bawah dan estimasi bias ke atas.

Namun, jika kita memiliki fungsi prediksi yang sangat berlebihan (yaitu ) maka bahkan penaksir .632 akan menjadi bias ke bawah. Estimator .632+ dirancang untuk kompromi yang kurang bias antara dan . dengan mana adalah tingkat kesalahan tidak-informasi, diperkirakan dengan mengevaluasi model prediksi pada semua kemungkinan kombinasi dari target dan prediktor .$\overline{err}=0$$\overline{err}$$Err_{boot(1)}$

$$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$$ $$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$$ $\gamma$$y_i$$x_i$

$$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$$ .

Di sini mengukur tingkat overfitting relatif. Jika tidak ada overfitting (R = 0, ketika ) ini sama dengan estimator .632.$R$$Err_{boot(1)} = \overline{err}$

Anda akan menemukan informasi lebih lanjut di bagian 3 ini ¹ kertas. Tetapi untuk meringkas, jika Anda memanggil sampel angka dari diambil secara acak dan dengan penggantian, berisi rata-rata sekitar elemen unik.$S$$n$$\{1:n\}$$S$$(1-e^{-1})\,n \approx 0.63212056\, n$

Alasannya adalah sebagai berikut. Kami mengisi dengan mengambil sampel kali (secara acak dan dengan penggantian) dari . Pertimbangkan indeks tertentu . $S=\{s_1,\ldots,s_n\}$$i=1,\ldots,n$$\{1:n\}$$m\in\{1:n\}$

Kemudian:

$$P(s_i=m)=1/n$$

dan

$$P(s_i\neq m)=1-1/n$$

dan ini benar (secara intuitif, karena kami sampel dengan penggantian, probabilitas tidak bergantung pada )$\forall 1\leq i \leq n$$i$

jadi

$$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$$

Anda juga dapat melakukan simulasi kecil ini untuk memeriksa secara empiris kualitas perkiraan (yang tergantung pada ):$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Bradley Efron dan Robert Tibshirani (1997). Peningkatan Validasi Silang: Metode .632+ Bootstrap . Jurnal Asosiasi Statistik Amerika , Vol. 92, No. 438, hlm. 548--560.

Dalam pengalaman saya, terutama berdasarkan simulasi, varian bootstrap 0.632 dan 0.632+ dibutuhkan hanya karena masalah berat yang disebabkan oleh penggunaan aturan penilaian akurasi yang tidak tepat, yaitu proporsi "diklasifikasikan" dengan benar. Saat Anda menggunakan aturan penilaian yang tepat (misalnya skor penyimpangan atau Brier) atau semi-layak (misalnya, -index = AUROC), bootstrap optimisme Efron-Gong standar berfungsi dengan baik.$c$

Jawaban itu sangat bermanfaat. Saya tidak dapat menemukan cara untuk mendemonstrasikannya dengan matematika jadi saya menulis beberapa kode Python yang bekerja dengan sangat baik:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)