Cara memperkirakan kurva kalibrasi dengan bootstrap (R)

Pertanyaan : Saya telah memasang model probabilistik (jaringan bayesian) untuk memodelkan variabel hasil biner. Saya ingin membuat plot kalibrasi resolusi tinggi (misalnya spline) dikoreksi karena overfitting dengan bootstrap. Apakah ada prosedur standar untuk menghitung kurva seperti itu?

Pertimbangan : Saya bisa melakukan ini dengan mudah dengan train / test split, tapi saya lebih suka tidak membuang data apa pun karena saya memiliki kurang dari 20.000 sampel. Jadi saya secara alami berpikir tentang bootstrap. Saya tahu bahwa salah satu fungsi tersebut (kalibrasi) diimplementasikan dalam paket rms milik Frank Harrell, tetapi sayangnya model yang saya gunakan tidak didukung oleh paket tersebut.

Pertanyaan bonus : apakah mungkin untuk mengkalibrasi ulang model yang salah perhitungan dengan bootstrap? Alasan saya bertanya ini adalah karena saya mencoba untuk mengkalibrasi ulang model oleh

1. pisahkan data dalam kereta / tes
2. model pas untuk melatih set
3. mengkalibrasi ulang model untuk melatih set (dengan spline kubik)
4. mengevaluasi kalibrasi pada set tes

Model-model yang dikalibrasi ulang dengan cara di atas dikalibrasi sempurna pada set kereta tetapi tidak begitu banyak pada set tes, yang mungkin menunjukkan overfitting ringan. Saya juga mencoba membelah set tes lebih lanjut, mengkalibrasi pada satu split dan mengevaluasi kalibrasi pada split kedua. Saya mendapat hasil yang lebih baik (masih belum dikalibrasi dengan sempurna), tetapi set menjadi sangat kecil (~ 1000 sampel) dan dengan demikian kalibrasi tidak dapat diandalkan

Setelah berdiskusi dengan Prof. Frank Harrell melalui email, saya menyusun prosedur berikut untuk memperkirakan kurva kalibrasi yang dikoreksi optimisme, sebagian berdasarkan pada Tutorialnya dalam Biostatistik (STATISTIK DALAM OBAT, VOL. 15,361-387 (1996)):

1. cocok dengan model prediksi risiko pada semua data
2. paskan model fleksibel (gam dengan tautan spline dan logit) dengan probabilitas yang diprediksi model vs hasil, dan kueri gam pada grid probabilitas yang diprediksi . Ini adalah kurva kalibrasi yang jelas dan kami menyebutnya$p=(0.01,0.02,...,0.99)$$cal_{app}$
3. menggambar sampel bootstrap dengan penggantian, ukuran data asli yang sama
4. model prediksi risiko fit pada sampel bootstrap
5. gunakan model bootstrap untuk memprediksi probabilitas dari sampel bootstrap , paskan gam di antara probabilitas yang diprediksi dan hasilnya, dan permintaan gam pada grid probabilitas yang diprediksi (mari kita sebut titik-titik ini )$cal_{boot}$
6. gunakan model bootstrap untuk memprediksi probabilitas dari sampel asli , paskan gam antara probabilitas yang diprediksi dan hasil, dan kueri gam pada grid probabilitas diprediksi memperoleh kurva kalibrasi ( )$cal_{orig}$
7. hitung optimisme di setiap titik dari grid seperti begitu$p$ $$Optimism(p)=cal_{boot}(p) - cal_{orig}(p)$$
8. ulangi langkah 3-7 sekitar 100 kali, rata-rata optimisme di setiap titik$p$
9. hitung kalibrasi terkoreksi optimisme seperti begitu $$cal_{corr}(p)=cal_{app}(p)-<Optimism(p)>$$

Catatan penting : Prosedur di atas terinspirasi oleh pekerjaan Harrell dan diskusi saya dengannya, tetapi semua kesalahan adalah milik saya sendiri.