Mengapa rata-rata setiap sampel bootstrap berisi sekitar dua pertiga dari pengamatan?

Saya telah berjalan di pernyataan bahwa setiap sampel bootstrap (atau pohon dikantongi) akan berisi rata-rata sekitar $2/3$ dari pengamatan.

Saya mengerti bahwa kesempatan tidak dipilih dalam salah $n$ menarik dari $n$ sampel dengan penggantian $(1- 1/n)^n$ , yang bekerja untuk sekitar $1/3$ kesempatan tidak dipilih.

Apa penjelasan matematis mengapa rumus ini selalu memberikan $\approx 1/3$ ?

Pada dasarnya, masalahnya adalah untuk menunjukkan bahwa $\lim_{n\to\infty}(1- 1/n)^n=e^{-1}$
(dan tentu saja, $e^{-1} =1/e \approx 1/3$ , setidaknya sangat kasar).

Ini tidak bekerja pada n yang sangat kecil $n$- misalnya pada $n=2$ , $(1- 1/n)^n=\frac{1}{4}$ . Itu melewati $\frac{1}{3}$ pada $n=6$ , melewati $0.35$ pada $n=11$ , dan $0.366$ oleh $n=99$ . Setelah Anda melampaui $n=11$ , $\frac{1}{e}$ adalah pendekatan yang lebih baik daripada $\frac{1}{3}$ .

Garis putus-putus berwarna abu-abu ada di $\frac{1}{3}$ ; garis merah dan abu-abu ada di $\frac{1}{e}$ .

Daripada menunjukkan derivasi formal (yang dapat dengan mudah ditemukan), saya akan memberikan garis besar (yang merupakan argumen intuisi, handwavy) tentang mengapa (sedikit) hasil yang lebih umum berlaku:

$$e^x = \lim_{n\to \infty} \left(1 + x/n \right)^n$$

(Banyak orang mengambil ini menjadi definisi dari , tetapi Anda bisa membuktikannya dari hasil sederhana seperti mendefinisikan sebagai .)$\exp(x)$$e$$\lim_{n\to \infty} \left(1 + 1/n \right)^n$

Fakta 1: Berikut ini dari hasil dasar tentang kekuatan dan eksponensial$\exp(x/n)^n=\exp(x)\quad$

Fakta 2: Ketika besar, Ini mengikuti ekspansi seri untuk .$n$$\exp(x/n) \approx 1+x/n\quad$$e^x$

(Saya dapat memberikan argumen yang lebih lengkap untuk masing-masing hal ini tetapi saya menganggap Anda sudah mengenal mereka)

Pengganti (2) dalam (1). Selesai (Agar ini berfungsi sebagai argumen yang lebih formal akan membutuhkan beberapa pekerjaan, karena Anda harus menunjukkan bahwa istilah yang tersisa di Fakta 2 tidak menjadi cukup besar untuk menyebabkan masalah ketika dibawa ke kekuasaan . Tapi ini intuisi daripada bukti formal.)$n$

[Atau, ambil saja deret Taylor untuk ke urutan pertama. Pendekatan mudah kedua adalah dengan mengambil ekspansi binomial dari dan mengambil batas istilah demi istilah, menunjukkannya memberikan syarat dalam seri untuk .]$\exp(x/n)$$\left(1 + x/n \right) ^n$$\exp(x/n)$

Jadi jika , ganti saja .$e^x = \lim_{n\to \infty} \left(1 + x/n \right) ^n$$x=-1$

Segera, kami mendapatkan hasil di bagian atas jawaban ini,$\lim_{n\to\infty}(1- 1/n)^n=e^{-1}$

---

Seperti gung tunjukkan dalam komentar, hasil dalam pertanyaan Anda adalah asal dari aturan bootstrap 632

mis. lihat

Efron, B. dan R. Tibshirani (1997),
"Peningkatan Validasi Lintas: Metode .632+ Bootstrap,"
Jurnal Asosiasi Statistik Amerika Vol. 92, No. 438. (Jun), hlm. 548-560

Lebih tepatnya, setiap sampel bootstrap (atau bagged tree) akan berisi sampel.$1-\frac{1}{e} \approx 0.632$

Mari kita bahas bagaimana bootstrap bekerja. Kami memiliki sampel asli dengan item di dalamnya. Kami menarik item dengan penggantian dari set asli ini sampai kami memiliki set ukuran lain .$x_1, x_2, \ldots x_n$$n$$n$

Dari itu, maka kemungkinan bahwa memilih salah satu item (katakanlah, ) pada undian pertama adalah . Oleh karena itu, kemungkinan tidak memilih item itu adalah . Itu hanya untuk pengundian pertama; ada total draw, semuanya independen, sehingga kemungkinan tidak pernah memilih item ini pada draw adalah .$x_1$$\frac{1}{n}$$1 - \frac{1}{n}$$n$$(1-\frac{1}{n})^n$

Sekarang, mari kita pikirkan apa yang terjadi ketika menjadi lebih besar dan lebih besar. Kita dapat mengambil batas saat menuju tak terhingga, menggunakan trik kalkulus yang biasa (atau Wolfram Alpha): $n$$n$

$$\lim_{n \rightarrow \infty} \big(1-\frac{1}{n}\big)^n = \frac{1}{e} \approx 0.368$$

Itu kemungkinan item tidak dipilih. Kurangi dari satu untuk menemukan probabilitas item yang dipilih, yang memberi Anda 0,632.

Sampling dengan penggantian dapat dimodelkan sebagai urutan uji coba binomial di mana "kesuksesan" adalah contoh yang dipilih. Untuk dataset asli dari instance, probabilitas "sukses" adalah , dan probabilitas "kegagalan" adalah . Untuk ukuran sampel , peluang memilih instance tepat kali diberikan oleh distribusi binomial:$n$$1/n$$(n-1)/n$$b$$x$

$$P(x,b,n) = \bigl(\frac{1}{n}\bigr)^{x} \bigl(\frac{n-1}{n}\bigr)^{b-x} {b \choose x}$$

Dalam kasus spesifik sampel bootstrap, ukuran sampel sama dengan jumlah instance . Dengan membiarkan mendekati tak terhingga, kita mendapatkan:$b$$n$$n$

$$\lim_{n \rightarrow \infty} \bigl(\frac{1}{n}\bigr)^{x} \bigl(\frac{n-1}{n}\bigr)^{n-x} {n \choose x} = \frac{1}{ex!}$$

Jika dataset asli kami besar, kami dapat menggunakan rumus ini untuk menghitung probabilitas bahwa instance dipilih tepat kali dalam sampel bootstrap. Untuk , probabilitasnya adalah , atau kira-kira . Dengan demikian probabilitas contoh yang diambil setidaknya satu kali adalah .$x$$x = 0$$1/e$$0.368$$1 - 0.368 = 0.632$

Tidak perlu dikatakan lagi, saya dengan susah payah menurunkan ini menggunakan pena dan kertas, dan bahkan tidak mempertimbangkan untuk menggunakan Wolfram Alpha.

Hanya dengan menambahkan jawaban @ retsreg, ini juga dapat ditunjukkan dengan mudah melalui simulasi numerik di R:

N <- 1e7 # number of instances and sample size
bootstrap <- sample(c(1:N), N, replace = TRUE)
round((length(unique(bootstrap))) / N, 3)
## [1] 0.632

Ini dapat dengan mudah dilihat dengan menghitung. Berapa total sampel yang mungkin? n ^ n. Berapa banyak yang TIDAK mengandung nilai tertentu? (n-1) ^ n. Probabilitas sampel yang tidak memiliki nilai spesifik - (1-1 / n) ^ n, yaitu sekitar 1/3 dalam batas.