Pertanyaan yang diberi tag «scoring-rules»

Ini adalah pertanyaan umum yang ditanyakan secara tidak langsung beberapa kali di sini, tetapi tidak memiliki jawaban otoritatif tunggal. Alangkah baiknya memiliki jawaban terperinci untuk ini sebagai referensi. Akurasi , proporsi klasifikasi yang benar di antara semua klasifikasi, adalah ukuran yang sangat sederhana dan sangat "intuitif", namun itu mungkin ukuran …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Saya telah banyak berpikir tentang "masalah ketidakseimbangan kelas" dalam pembelajaran mesin / statistik akhir-akhir ini, dan saya semakin dalam merasakan bahwa saya tidak mengerti apa yang sedang terjadi. Pertama, biarkan saya mendefinisikan (atau mencoba) mendefinisikan istilah saya: Masalah ketidakseimbangan kelas dalam pembelajaran mesin / statistik adalah pengamatan bahwa beberapa algoritma …

30 classification  predictive-models  unbalanced-classes  scoring-rules 

Saya memvalidasi silang model yang mencoba memprediksi hitungan. Jika ini adalah masalah klasifikasi biner, saya akan menghitung AUC out-of-fold, dan jika ini adalah masalah regresi saya akan menghitung RMSE atau MAE out-of-fold Untuk model Poisson, metrik kesalahan apa yang dapat saya gunakan untuk mengevaluasi "keakuratan" dari prediksi out-of-sample? Apakah ada …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

Merkle & Steyvers (2013) menulis: Untuk secara formal mendefinisikan aturan penilaian yang tepat, misalkan menjadi ramalan probabilistik uji coba Bernoulli dengan probabilitas keberhasilan sejati . Aturan penilaian yang tepat adalah metrik yang nilainya diharapkan diminimalkan jika .fffdddhalhalpf= pf=half = p Saya mengerti bahwa ini bagus karena kami ingin mendorong para …

27 classification  forecasting  scoring-rules 

Saya baru-baru ini menyelesaikan kompetisi Kaggle di mana skor roc auc digunakan sesuai persyaratan kompetisi. Sebelum proyek ini, saya biasanya menggunakan skor f1 sebagai metrik untuk mengukur kinerja model. Ke depan, saya bertanya-tanya bagaimana saya harus memilih antara dua metrik ini? Kapan menggunakan yang mana, dan apa pro dan kontra …

26 machine-learning  modeling  roc  scoring-rules 

Sebagian besar sumber daya pada aturan penilaian yang tepat menyebutkan sejumlah aturan penilaian yang berbeda seperti log-loss, Brier score atau spherical scoring. Namun, mereka sering tidak memberikan banyak panduan tentang perbedaan di antara mereka. (Bukti A: Wikipedia .) Memilih model yang memaksimalkan skor logaritmik sesuai dengan memilih model maksimum-likelihood, yang …

22 machine-learning  classification  model-selection  theory  scoring-rules 

Pertama, ia memberikan probabilitas hasil. Jadi, misalnya, prediksinya untuk pemilihan AS saat ini adalah 82% Clinton vs 18% Trump. Sekarang, bahkan jika Trump menang, bagaimana saya tahu bahwa itu bukan hanya 18% dari waktu yang seharusnya dia menangkan? Masalah lainnya adalah probabilitasnya berubah seiring waktu. Jadi pada 31 Juli, hampir …

19 forecasting  prediction  validation  accuracy  scoring-rules 

Aturan penilaian yang tepat adalah aturan yang dimaksimalkan oleh model 'benar' dan itu tidak memungkinkan 'lindung nilai' atau bermain game sistem (sengaja melaporkan hasil yang berbeda seperti keyakinan sejati model untuk meningkatkan skor). Skor penghalang adalah tepat, akurasi (proporsi diklasifikasikan dengan benar) tidak tepat dan sering tidak dianjurkan. Terkadang saya …

16 classification  references  roc  measurement-error  scoring-rules 

Saya baru-baru ini belajar tentang aturan penilaian yang tepat untuk pengklasifikasi probabilistik. Beberapa utas di situs web ini telah menekankan bahwa akurasi adalah aturan penilaian yang tidak tepat dan tidak boleh digunakan untuk mengevaluasi kualitas prediksi yang dihasilkan oleh model probabilistik seperti regresi logistik. Namun, beberapa makalah akademis yang saya …

13 probability  accuracy  scoring-rules 

Latar belakang: Ada beberapa pertanyaan / jawaban yang bagus di sini tentang cara mengkalibrasi model yang memprediksi probabilitas hasil yang terjadi. Sebagai contoh Skor Brier , dan penguraiannya menjadi resolusi, ketidakpastian dan keandalan . Plot kalibrasi dan regresi isotonik . Metode-metode ini sering memerlukan penggunaan metode binning pada probabilitas yang …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Pertanyaan kemarin Menentukan akurasi model yang memperkirakan probabilitas acara membuat saya ingin tahu tentang penilaian probabilitas. The Brier skor adalah rata-rata kuadrat error ukuran. Apakah pengukuran kinerja kesalahan absolut rata-rata analog punya nama juga?1N∑i=1N(predictioni−referencei)21N∑i=1N(predictioni−referencei)2\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i - reference_i)^2 1N∑i=1N|predictioni−referencei|1N∑i=1N|predictioni−referencei|\frac{1}{N}\sum\limits _{i=1}^{N}|prediction_i - reference_i|

12 classification  error  validation  scoring-rules  brier-score 

Saya memodelkan suatu acara dengan dua hasil, a dan b. Saya telah membuat model yang memperkirakan probabilitas bahwa a atau b akan terjadi (yaitu model akan menghitung bahwa a akan terjadi dengan peluang 40% dan b akan terjadi dengan peluang 60%). Saya memiliki catatan besar hasil uji coba dengan perkiraan …

12 predictive-models  scoring-rules 

Saya memprogram dan melakukan pengembangan berbasis tes. Setelah saya membuat perubahan dalam kode saya, saya menjalankan tes saya. Terkadang mereka berhasil dan terkadang mereka gagal. Sebelum saya menjalankan tes saya menuliskan angka 0,01-0,99 untuk kepercayaan saya bahwa tes akan berhasil. Saya ingin tahu apakah saya membaik dalam memprediksi apakah tes …

10 forecasting  decision-theory  calibration  scoring-rules 

Saya menjalankan analisis tentang kemungkinan gagal bayar pinjaman menggunakan regresi logistik dan hutan acak. Ketika saya menggunakan regresi logistik, prediksi selalu semua '1' (yang berarti pinjaman baik). Saya belum pernah melihat ini sebelumnya, dan tidak tahu harus mulai dari mana dalam hal memilah masalah. Ada 22 kolom dengan 600 ribu …

10 regression  logistic  predictive-models  unbalanced-classes  scoring-rules 

Contoh: Saya memiliki kalimat dalam deskripsi pekerjaan: "Java senior engineer in UK". Saya ingin menggunakan model pembelajaran yang mendalam untuk memperkirakannya sebagai 2 kategori: English dan IT jobs. Jika saya menggunakan model klasifikasi tradisional, hanya dapat memprediksi 1 label dengan softmaxfungsi di lapisan terakhir. Dengan demikian, saya dapat menggunakan 2 …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty