Interval prediksi untuk algoritma pembelajaran mesin

Saya ingin tahu apakah proses yang dijelaskan di bawah ini valid / dapat diterima dan ada pembenaran yang tersedia.

Idenya: Algoritma pembelajaran terawasi tidak mengasumsikan struktur / distribusi yang mendasari tentang data. Pada akhirnya mereka membuat estimasi titik keluaran. Saya berharap bisa mengukur ketidakpastian estimasi tersebut. Sekarang, proses pembuatan model ML secara inheren acak (misalnya dalam pengambilan sampel untuk validasi silang untuk penyetelan hyperparameter dan dalam subsampling dalam GBM stokastik), jadi pipa pemodelan akan memberi saya output yang berbeda untuk prediktor yang sama dengan setiap benih yang berbeda. Gagasan saya (naif) adalah menjalankan proses ini berulang-ulang untuk menghasilkan distribusi prediksi, dan mudah-mudahan saya dapat membuat pernyataan tentang ketidakpastian prediksi.

Jika itu penting, set data yang saya kerjakan biasanya sangat kecil (~ 200 baris.)

Apakah ini masuk akal?

Untuk memperjelas, saya sebenarnya tidak bootstrap data dalam arti tradisional (yaitu saya tidak mengambil sampel kembali data). Dataset yang sama digunakan dalam setiap iterasi, saya hanya mengeksploitasi keacakan dalam xval dan stochastic GBM.

Bagi saya tampaknya pendekatan yang sama baiknya dengan mengukur ketidakpastian dalam prediksi. Pastikan untuk mengulangi semua langkah pemodelan (untuk GBM yang akan menjadi penyetelan parameter) dari awal di setiap bootstrap. Bisa juga bermanfaat untuk mem-bootstrap peringkat pentingnya untuk mengukur ketidakpastian dalam peringkat tersebut.

Saya telah menemukan bahwa kadang-kadang interval tidak mengandung prediksi aktual, terutama ketika memperkirakan suatu probabilitas. Meningkatkan jumlah minimal pengamatan di setiap simpul terminal biasanya memecahkan itu, setidaknya dalam data yang telah saya kerjakan.

Prediksi konformal sepertinya pendekatan yang berguna untuk mengukur kepercayaan pada prediksi data baru. Saya hanya menggores permukaan sejauh ini dan yang lain mungkin lebih cocok untuk memberikan pendapat tentang itu.

Ada beberapa kode-R kasar dalam balasan saya ke posting ini tentang menemukan Interval prediksi GBM.

Semoga ini membantu!

Anda dapat membagi ketidakpastian tentang prediksi ke istilah 'bias' dan 'varians'. Istilah Bias mengacu pada kesalahan spesifikasi model: jika Anda cocok dengan model linier untuk fungsi nonlinear, Anda akan selalu mendapatkan beberapa kesalahan. Istilah 'Varians' mengacu pada kesalahan dalam estimasi parameter model. Anda mendekati akun untuk varians bagian dari ketidakpastian, sementara tidak dapat memperkirakan bias.

Seperti yang disarankan oleh prediksi kesesuaian @ErikL adalah pendekatan yang secara teori dapat dibenarkan yang mengadopsi ide yang sangat mirip untuk bootstrap. Prediksi konformal menggunakan rekonstruksi model menggunakan titik baru memperhitungkan bias dan varians, sedangkan untuk regresi mereka memerlukan sumber daya komputasi yang signifikan. Anda dapat mencobanya dengan Python menggunakan pustaka yang tidak sesuai .

Tidak, sepertinya ide yang buruk. Pertama, seperti yang ditunjukkan Alexey, ada bias dan varians. Bahkan untuk pilihan parameter terbaik, Anda tidak dapat menghindari varians. Metode Anda bahkan tidak mencoba mengatasinya. Ada masalah lain yang sangat penting, bahwa sebagian, dan mungkin sebagian besar, kesalahan model Anda ada dalam data, bukan pada keacakan inheren model. (Belum lagi bahwa beberapa model, seperti regresi linier biasa, tidak acak sama sekali, dan untuk model acak, tingkat keacakan bervariasi dari model ke model)

Saya menyarankan Anda untuk menguji pendekatan Anda pada beberapa data simulasi sederhana, dan beberapa model yang Anda tahu. Saya yakin, karena alasan yang saya jelaskan, perkiraan kesalahan Anda akan jauh lebih kecil dari kesalahan sebenarnya (atau distribusi Anda akan jauh lebih sempit).

Untuk memperkirakan distribusi kesalahan, Anda dapat menggunakan validasi silang yang lama.

Saya sedang memikirkan masalah ini sekarang. Inilah temuan saya:

(1) Metode Delta
(2) Resampling Bootstrap
(3) Metode Bayesian
(4) Estimasi Varians Rata-Rata (MVE)

Idenya adalah mencoba memperkirakan dua sumber variabilitas prediksi, ketidakpastian dari estimasi parameter model dan kesalahan yang tidak dapat direduksi.

Berikut ini beberapa referensi:

Pendekatan Pembelajaran Mesin untuk estimasi interval prediksi untuk output model, Durga L. Shrestha, Dimitri P. Solomatine, 2006
Perbandingan beberapa estimasi kesalahan untuk model jaringan saraf, Robert Tibshirani, 1995
Tinjauan Komprehensif Interval Prediksi Berbasis Jaringan Neural dan Baru Kemajuan, Abbas khosravi, Doug Creighton, 2011

Semoga ini bisa membantu dan memperbaiki saya salah satu di atas tidak pantas. Saya ingin mendengar lebih banyak dari orang lain.