Pertanyaan yang diberi tag «validation»

Saya sudah melatih dua model (pengklasifikasi biner menggunakan h2o AutoML) dan saya ingin memilih satu untuk digunakan. Saya memiliki hasil sebagai berikut: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 yang aucdan loglosskolom metrik cross-validasi (validasi silang …

14 model-selection  validation  auc  gini  log-loss 

Misalkan saya punya pemisahan 80/20 antara pemodelan / pengamatan validasi. Saya telah memasukkan model ke set data pemodelan, dan saya merasa nyaman dengan kesalahan yang saya lihat pada set data validasi. Sebelum saya meluncurkan model saya untuk menilai pengamatan di masa depan, apakah pantas untuk menggabungkan validasi kembali dengan data …

13 regression  predictive-models  validation 

Dalam paparan kelas saya untuk data mining, metode ketidaksepakatan diperkenalkan sebagai cara menilai kinerja model. Namun, ketika saya mengambil kelas pertama saya pada model linear, ini tidak diperkenalkan sebagai sarana validasi atau penilaian model. Penelitian online saya juga tidak menunjukkan adanya persimpangan. Mengapa metode ketidaksepakatan tidak digunakan dalam statistik klasik?

12 regression  validation  model-evaluation  out-of-sample 

Pertanyaan kemarin Menentukan akurasi model yang memperkirakan probabilitas acara membuat saya ingin tahu tentang penilaian probabilitas. The Brier skor adalah rata-rata kuadrat error ukuran. Apakah pengukuran kinerja kesalahan absolut rata-rata analog punya nama juga?1N∑i=1N(predictioni−referencei)21N∑i=1N(predictioni−referencei)2\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i - reference_i)^2 1N∑i=1N|predictioni−referencei|1N∑i=1N|predictioni−referencei|\frac{1}{N}\sum\limits _{i=1}^{N}|prediction_i - reference_i|

12 classification  error  validation  scoring-rules  brier-score 

Dalam memilih parameter regularisasi lambda di Ridge atau Lasso, metode yang disarankan adalah mencoba nilai-nilai lambda yang berbeda, mengukur kesalahan dalam Set Validasi dan akhirnya memilih nilai lambda yang mengembalikan kesalahan terendah. Ini tidak jelas bagi saya jika fungsi f (lambda) = error adalah Convex. Mungkinkah seperti ini? Yaitu dapat …

11 cross-validation  error  regularization  validation  optimization 

Untuk non-ahli statistik seperti saya, sangat sulit untuk menangkap ide VImetrik (variasi informasi) bahkan setelah membaca makalah yang relevan oleh Marina Melia " Membandingkan pengelompokan - Jarak berbasis informasi " (Journal of Multivariate Analysis, 2007). Bahkan, saya tidak akrab dengan banyak istilah pengelompokan di luar sana. Di bawah ini adalah …

11 r  clustering  validation  intuition 

Saya ingin mengevaluasi beberapa model berbeda yang memberikan prediksi perilaku di tingkat bulanan. Data seimbang, dan 100.000 dan 12. Hasilnya menghadiri konser di bulan tertentu, jadi nol untuk ~ 80% dari orang-orang di bulan apa pun, tetapi ada ekor panjang yang benar dari pengguna berat. Prediksi yang saya miliki tampaknya …

11 repeated-measures  predictive-models  stata  panel-data  validation 

Saya ditanya pertanyaan seperti "Apakah Anda melakukan pemeriksaan konsistensi dalam pekerjaan sehari-hari Anda?" selama wawancara telepon untuk posisi Biostatistician. Saya tidak tahu harus menjawab apa. Setiap informasi dihargai.

11 validation 

Apa cara terbaik untuk membagi data deret waktu ke dalam rangkaian kereta / tes / validasi, di mana set validasi akan digunakan untuk penyetelan hyperparameter? Kami memiliki data penjualan harian senilai 3 tahun, dan rencana kami akan menggunakan 2015-2016 sebagai data pelatihan, kemudian secara acak sampel 10 minggu dari data …

11 time-series  cross-validation  validation 

Apa teknik statistik untuk membuat set sampel, yang mewakili seluruh populasi (dengan tingkat kepercayaan yang diketahui)? Juga, Bagaimana cara memvalidasi, jika sampel cocok dengan keseluruhan dataset? Apakah mungkin, tanpa mem-parsing seluruh dataset (yang bisa menjadi milyaran catatan)?

10 sampling  sample-size  validation 

Buku Elemen Pembelajaran Statistik (tersedia dalam PDF online) membahas bias optimisim (7.21, halaman 229). Ini menyatakan bahwa bias optimisme adalah perbedaan antara kesalahan pelatihan dan kesalahan dalam sampel (kesalahan diamati jika kita sampel nilai-nilai hasil baru di masing-masing poin pelatihan asli) (per di bawah). Selanjutnya, ia menyatakan bias optimisme ini …

9 error  bias  validation 

Memberikan ukuran sampel "N" yang saya rencanakan untuk digunakan untuk meramalkan data. Apa sajakah cara untuk membagi data sehingga saya menggunakan sebagian untuk membuat model, dan data sisanya untuk memvalidasi model? Saya tahu tidak ada jawaban hitam dan putih untuk ini, tetapi akan menarik untuk mengetahui beberapa "aturan praktis" atau …

9 machine-learning  modeling  sample  validation 

Saya membaca kedua halaman wikipedia tentang analisis sensitivitas dan validasi model (di sini, hanya validasi regresi linier) tetapi saya tidak berhasil menemukan cara untuk memisahkan kedua istilah ini. Saya mendapat kesan bahwa yang pertama lebih banyak digunakan di bidang akademik dan teknik pada umumnya dan yang kedua dalam "ilmu data". …

9 validation  sensitivity-analysis 

Saya mengembangkan sistem perdagangan otomatis untuk pasar saham. Tantangan besar adalah overfitting. Dapatkah Anda merekomendasikan beberapa sumber yang menggambarkan metode untuk mengukur dan menghindari overfitting? Saya mulai dengan set pelatihan / validasi, tetapi set validasi selalu ternoda. Juga, data deret waktu selalu berubah karena pasar selalu berubah. Bagaimana Anda mengukur …

9 time-series  machine-learning  dataset  data-mining  validation 

Saya mengalami kesulitan untuk masuk ke halaman yang sama dengan penyelia saya ketika datang untuk memvalidasi model saya. Saya telah menganalisis residu (diamati terhadap nilai yang dipasang) dan saya menggunakan ini sebagai argumen untuk membahas hasil yang diperoleh oleh model saya, namun penyelia saya bersikeras bahwa satu-satunya cara untuk memvalidasi …

8 r  references  glmm  validation  glmmtmb