Pertanyaan yang diberi tag «calibration»

Misalkan saya memiliki model prediktif yang menghasilkan, untuk setiap contoh, probabilitas untuk setiap kelas. Sekarang saya menyadari bahwa ada banyak cara untuk mengevaluasi model seperti itu jika saya ingin menggunakan probabilitas tersebut untuk klasifikasi (presisi, penarikan, dll.). Saya juga mengakui bahwa kurva ROC dan area di bawahnya dapat digunakan untuk …

23 data-visualization  classification  predictive-models  binary-data  calibration 

Untuk mengkalibrasi tingkat kepercayaan ke probabilitas dalam pembelajaran yang diawasi (katakanlah untuk memetakan kepercayaan dari SVM atau pohon keputusan menggunakan data yang terlalu banyak) salah satu metode adalah dengan menggunakan Penskalaan Platt (misalnya, Memperoleh Kemungkinan yang Dikalibrasi dari Peningkatan ). Pada dasarnya orang menggunakan regresi logistik untuk memetakan ke . …

17 logistic  cross-validation  calibration 

Saya ingin saran tentang menyatukan plot / statistik kalibrasi setelah beberapa kali imputasi. Dalam pengaturan pengembangan model statistik untuk memprediksi kejadian di masa depan (misalnya menggunakan data dari catatan rumah sakit untuk memprediksi kelangsungan hidup atau kejadian pasca pemulangan), orang dapat membayangkan ada beberapa informasi yang hilang. Beberapa imputasi adalah …

15 data-visualization  data-imputation  multiple-imputation  pooling  calibration 

Scikit memiliki CalibratedClassifierCV , yang memungkinkan kita untuk mengkalibrasi model kita pada pasangan X, y tertentu. Ini juga menyatakan dengan jelas itudata for fitting the classifier and for calibrating it must be disjoint. Jika mereka harus dipisahkan, apakah sah untuk melatih pengklasifikasi dengan yang berikut? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) …

14 cross-validation  scikit-learn  validation  train  calibration 

Latar belakang: Ada beberapa pertanyaan / jawaban yang bagus di sini tentang cara mengkalibrasi model yang memprediksi probabilitas hasil yang terjadi. Sebagai contoh Skor Brier , dan penguraiannya menjadi resolusi, ketidakpastian dan keandalan . Plot kalibrasi dan regresi isotonik . Metode-metode ini sering memerlukan penggunaan metode binning pada probabilitas yang …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Saya memprogram dan melakukan pengembangan berbasis tes. Setelah saya membuat perubahan dalam kode saya, saya menjalankan tes saya. Terkadang mereka berhasil dan terkadang mereka gagal. Sebelum saya menjalankan tes saya menuliskan angka 0,01-0,99 untuk kepercayaan saya bahwa tes akan berhasil. Saya ingin tahu apakah saya membaik dalam memprediksi apakah tes …

10 forecasting  decision-theory  calibration  scoring-rules 

Dalam scikit mempelajari dokumen tentang probabilitas kalibrasi mereka membandingkan regresi logistik dengan metode lain dan menyatakan bahwa hutan acak kurang dikalibrasi dengan baik daripada regresi logistik. Mengapa regresi logistik dikalibrasi dengan baik? Bagaimana seseorang dapat merusak kalibrasi dari regresi logistik (bukan yang ingin dilakukannya - seperti latihan)?

9 regression  logistic  calibration 

Pertanyaan : Saya telah memasang model probabilistik (jaringan bayesian) untuk memodelkan variabel hasil biner. Saya ingin membuat plot kalibrasi resolusi tinggi (misalnya spline) dikoreksi karena overfitting dengan bootstrap. Apakah ada prosedur standar untuk menghitung kurva seperti itu? Pertimbangan : Saya bisa melakukan ini dengan mudah dengan train / test split, …

9 bootstrap  splines  regression-strategies  calibration