Apakah ada hasil yang memberikan bootstrap valid jika dan hanya jika statistiknya lancar?

Sepanjang kami menganggap statistik kami adalah fungsi dari beberapa data yang diambil dari fungsi distribusi ; fungsi distribusi empiris dari sampel kami adalah . Jadi adalah statistik yang dilihat sebagai variabel acak dan adalah versi statistik bootstrap. Kami menggunakan sebagai jarak KS $\theta(\cdot)$ $X_1, \ldots X_n$ $F$ $\hat{F}$ $\theta(F)$ $\theta(\hat{F})$ $d_\infty$

Ada "jika dan hanya jika" hasil untuk validitas bootstrap jika statistik adalah statistik linier sederhana. Misalnya Teorema 1 dari Mammen "Kapan bootstrap bekerja?"

Jika $\theta(F) = \frac{1}{n} \sum_{i-1}^n h_n(X_i)$ untuk beberapa fungsi sewenang-wenang $h_n$ maka bootstrap berfungsi dalam arti bahwa
$d_{\infty} [L (θ (\hat{F}) - {\hat{t}}_{n}), L (θ (F) - t_{n})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(\hat{F})-\hat{t}_n), \mathscr{L}(\theta(F)-t_n)\big] \underset{p}{\rightarrow} 0$ jika dan hanya jika ada $\sigma_n$ dan $t_n$ sedemikian rupa sehingga $d_{\infty} [L (θ (F) - t_{n}), N (0, σ_{n}^{2})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(F)-t_n), N(0, \sigma_n^2)\big]\underset{p}{\rightarrow} 0$ Di mana kita dapat mendefinisikan $\hat{t_n}$ sebagai beberapa fungsi dari sampel kami dan $t_n = \mathbb{E}(\hat{t}_n)$

Ada juga hasil yang lebih umum bahwa bootstrap berfungsi untuk statistik umum, misalnya Teorema 1.6.3 dari Subsampling oleh Politis Romano dan Wolf:

Asumsikan $F$ diambil dari kelas semua distribusi dengan dukungan yang terbatas. Asumsikan statistik $\theta(\cdot)$ adalah Frechet dibedakan pada $F$ sehubungan dengan norma supremum dan turunannya $g_F$ memenuhi $0 < \textrm{Var}_F[g_F(x)] < \infty$ . Maka $\theta(F)$ normal asimptotik dan bootstrap bekerja dalam arti teorema sebelumnya.

Saya ingin versi `jika dan hanya jika 'teorema kedua. Ini akan memerlukan gagasan kelancaran yang berbeda dari pembeda Frechet karena Politis, Romano dan Wolf (1999) menunjukkan bahwa median sampel tidak dapat dibedakan Frechet tetapi bootstrap masih berfungsi. Namun median sampel masih memiliki fungsi data yang lancar.

Ada beberapa komentar informal dalam Mammen bahwa kelancaran diperlukan:

Biasanya linearitas asimptotik lokal tampaknya diperlukan untuk konsistensi bootstrap

Kutipan adalah untuk:

van Zwet, W (1989). Bicara diberikan pada konferensi tentang "Metode asimptotik untuk prosedur intensif komputer dalam statistik" di Olberwolfach.

Tetapi saya tidak dapat menemukan jejak pembicaraan ini selain dari beberapa kutipan.

— orizon
sumber

Topik luar biasa. Apakah benar bahwa semua hasil yang dikutip adalah asimptotik untuk ukuran sampel hingga tak terbatas?

— Michael M

@Michael Terima kasih dan ya, semuanya asimtotik seperti . Secara kebetulan ada beberapa karya terbaru dengan hasil untuk sampel terbatas (misalnya arxiv.org/pdf/1212.6906.pdf ) tetapi sangat teknis.

n \to \infty

$n \rightarrow \infty$

— orizon

Topik rumit. Beberapa mengatakan bootstrap tidak berfungsi secara umum. van Zwer et al. tidak mengatakan orang harus berhati-hati apa yang bootstraped . Saya pikir kita harus menetapkan apa yang harus bootstrap dan apa yang tidak untuk bootstrap terlebih dahulu sebelum pengujian lebih lanjut diperlukan.

— Carl

Sekarang saya memperbarui jawabannya sebagai tanggapan atas komentar Mammen, harap itu menjelaskan lebih lanjut kebingungan Anda. Dan jika Anda mau, Anda bisa menjelaskan sedikit tentang aplikasi yang memotivasi Anda untuk bertanya tentang kebutuhan. Itu akan membantu saya meningkatkan jawaban saya.

— Henry.L

$\blacksquare$ (1) Mengapa penaksir kuantil tidak dapat dibedakan dari Frechet tetapi penaksir bootstrapnya masih konsisten?

Anda memerlukan diferensial diferensial Hadamard (atau diferensiabilitas kompak tergantung pada sumber referensi Anda) sebagai kondisi yang cukup untuk membuat bootstrap bekerja dalam kasus itu, median dan setiap kuantil adalah Hadamard dapat dibedakan. Diferensiasi frechet terlalu kuat di sebagian besar aplikasi.

Karena biasanya cukup untuk membahas ruang Polandia, di sana Anda ingin fungsional linier lokal untuk menerapkan argumen kekompakan tipikal untuk memperluas hasil konsistensi Anda pada situasi global. Lihat juga komentar linearisasi di bawah ini.

Teorema 2.27 dari [Wasserman] akan memberi Anda intuisi bagaimana turunan Hadamard adalah gagasan yang lebih lemah. Dan Teorema 3.6 dan 3.7 dari [Shao & Tu] akan memberikan kondisi yang cukup untuk konsistensi yang lemah dalam hal -Hadamard diferensiasi fungsi statistik dengan ukuran pengamatan . $\rho$ $T_{n}$ $n$

$\blacksquare$ (2) Apa yang akan mempengaruhi konsistensi estimator bootstrap?

[Shao & Tu] hal.85-86 situasi yang diilustrasikan di mana inkonsistensi penduga bootstrap dapat terjadi.

(1) bootstrap adalah sensitif terhadap perilaku ekor dari populasi . Konsistensi membutuhkan kondisi momen yang lebih ketat daripada yang diperlukan untuk keberadaan batas . $F$ $H_{BOOT}$ $H_0$

(2) Konsistensi penaksir bootstrap membutuhkan tingkat kelancaran tertentu dari statistik yang diberikan (fungsional) . $T_{n}$

(3) Perilaku estimator bootstrap terkadang tergantung pada metode yang digunakan untuk mendapatkan data bootstrap.

Dan di Sec 3.5.2 dari [Shao & Tu] mereka ditinjau kembali contoh kuantil menggunakan smoothing kernel . Perhatikan bahwa momen adalah fungsional linier, kutipan dalam pertanyaan Anda "Biasanya linearitas asimptotik lokal tampaknya diperlukan untuk konsistensi bootstrap" memerlukan beberapa tingkat analitik fungsional, yang mungkin diperlukan karena jika gagal Anda dapat membuat beberapa kasus patologis seperti fungsi Weierstrass (yang kontinu namun tidak dapat dibedakan dari mana-mana). $K$

(3) Mengapa linearitas lokal tampaknya diperlukan dalam memastikan konsistensi estimator bootstrap? $\blacksquare$

Adapun komentar "Biasanya linearitas asimptotik lokal tampaknya diperlukan untuk konsistensi bootstrap" yang dibuat oleh Mammen seperti yang Anda sebutkan. Sebuah komentar dari [Shao & Tu] hal.78 adalah sebagai berikut, ketika mereka berkomentar bahwa linierisasi (global) hanya merupakan teknik yang memfasilitasi bukti konsistensi dan tidak menunjukkan adanya kebutuhan:

Linearisasi adalah teknik penting lainnya dalam membuktikan konsistensi bootstrap estimator, karena hasil untuk statistik linier sering tersedia atau dapat ditetapkan dengan menggunakan teknik yang diperkenalkan sebelumnya. Misalkan statistik Tn yang diberikan dapat didekati dengan variabel acak linier (denganadalah statistik linier dalam), yaitu (3.19) $\bar{Z_n}=\frac{1}{n}\sum_{i=1}^{n}\phi(X_n)$ $\phi(X)$ $X$ Misalkan dan menjadi analog bootstrapdan, masing-masing, berdasarkan pada sampel bootstrap. Jika kita dapat menetapkan hasil untukmirip dengan (3.19), yaitu, (3.20)
$T_{n} = θ + \bar{Z_{n}} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n=\theta+\bar{Z_n}+o_{P}(\frac{1}{\sqrt{n}})$ $T_n^{*}$ $\bar{Z_n^{*}}$ $T_n$ $\bar{Z_n}$ $\{X_1^{*},\cdots,X_n^{*}\}$ $T_n^{*}$ maka batas(di manaadalah nilai parameter) $T_{n}^{*} = θ + {\bar{Z_{n}}}^{*} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n^{*}=\theta+\bar{Z_n}^{*}+o_{P}(\frac{1}{\sqrt{n}})$ $H_{BOOT}(x)$ $x$ sama dengan $=P\{\sqrt{n}(T_n-T_n^{*}) \leq x\}$ .Kami telah sehingga mengurangi masalah untuk masalah yang melibatkan "sampel berarti" , yang distribusi bootstrap estimator dapat ditunjukkan untuk konsisten menggunakan metode di Bagian 3.1 .2-3.1.4. $P\{\sqrt{n}(\bar{Z_n}-\bar{Z_n}^{*}) \leq x\}$ $\bar{Z_n}$

Dan mereka memberikan contoh 3.3 untuk mendapatkan konsistensi bootstrap untuk jenis bootstrap MLE. Namun jika linearitas global efektif dengan cara itu, sulit membayangkan bagaimana seseorang akan membuktikan konsistensi tanpa linearitas lokal. Jadi kurasa itulah yang ingin dikatakan Mammen.

(4) Komentar lebih lanjut $\blacksquare$

Di luar diskusi yang disediakan oleh [Shao & Tu] di atas, saya pikir yang Anda inginkan adalah kondisi karakterisasi konsistensi dari estimator bootstrap.

$M(X)$ $T$ $CLT$

$M(X)$

Saya benci untuk bersikap sinis namun saya masih merasa bahwa ini bukan satu-satunya penulisan statistik yang "mengutip dari kekosongan". Dengan mengatakan ini saya hanya merasa kutipan untuk pembicaraan van Zwet sangat tidak bertanggung jawab meskipun van Zwet adalah seorang sarjana yang hebat.

$\blacksquare$

[Wasserman] Wasserman, Larry. Semua Statistik Nonparametrik, Springer, 2010.

[Shao & Tu] Shao, Jun, dan Dongsheng Tu. Jackknife dan bootstrap. Springer, 1995.

[Gine & Zinn] Giné, Evarist, dan Joel Zinn. "Bootstrap, tindakan empiris umum." The Annals of Probability (1990): 851-869.

[Huber] Huber, statistik Peter J. Robust. Wiley, 1985.

— Henry
sumber