Pertanyaan yang diberi tag «model-evaluation»

Saya sering mendengar tentang mengevaluasi kinerja model klasifikasi dengan mengulurkan set tes dan melatih model pada set pelatihan. Kemudian membuat 2 vektor, satu untuk nilai prediksi dan satu untuk nilai sebenarnya. Jelas melakukan perbandingan memungkinkan seseorang untuk menilai kinerja model dengan kekuatan prediktifnya menggunakan hal-hal seperti F-Score, Statistik Kappa, Precision …

10 regression  machine-learning  model-evaluation 

Saya sedang mengerjakan kumpulan data. Setelah menggunakan beberapa teknik identifikasi model, saya keluar dengan model ARIMA (0,2,1). Saya menggunakan detectIOfungsi dalam paket TSAdalam R untuk mendeteksi outlier inovatif (IO) pada pengamatan ke-48 set data asli saya. Bagaimana cara memasukkan pencilan ini ke dalam model saya sehingga saya dapat menggunakannya untuk …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

Saya sedang mengerjakan prediksi deret waktu. Aku punya dua set data D 1 = { x1, x2, . . . . xn}D1={x1,x2,....xn}D1=\{x_1, x_2,....x_n\} dan D 2 = { xn+ 1 , xn+ 2 , xn+ 3 , . . . . , xn+ k }D2={xn+1,xn+2,xn+3,....,xn+k}D2=\{x_n+1, x_n+2, x_n+3,...., x_n+k\} . Saya …

10 time-series  machine-learning  statistical-significance  classification  model-evaluation 

Pada dasarnya, ada dua cara umum untuk belajar melawan kumpulan data besar (ketika Anda dihadapkan pada batasan waktu / ruang): Kecurangan :) - gunakan hanya subset "dikelola" untuk pelatihan. Hilangnya keakuratan dapat diabaikan karena hukum pengembalian yang semakin menurun - kinerja prediktif dari model tersebut seringkali mendatar jauh sebelum semua …

10 machine-learning  large-data  model-evaluation  train 

Saya ingin menguji beberapa ide saya yang menurut saya lebih baik daripada apa pun yang saya lihat. Saya bisa saja salah tetapi saya ingin menguji ide-ide saya dan mengalahkan keraguan saya dengan pengamatan yang lebih pasti. Apa yang saya pikirkan untuk lakukan adalah sebagai berikut: Mendefinisikan secara analitik seperangkat distribusi. …

10 hypothesis-testing  estimation  pdf  kernel-smoothing  model-evaluation 

Ini mungkin pertanyaan mendasar: Apa perbedaan antara bias dan kekurangan? Dan, secara analog, apa perbedaan antara varians dan overfitting? Apakah ketentuan masing-masing pasangan memiliki arti yang sama? Jika tidak, apa bedanya?

10 variance  bias  overfitting  model-evaluation 

Saya memiliki Dynamic Naive Bayes Model yang dilatih pada beberapa variabel temporal. Output dari model adalah prediksi P(Event) @ t+1, diperkirakan masing-masing t. Plot P(Event)versus timeadalah seperti yang diberikan pada gambar di bawah ini. Dalam gambar ini, garis hitam mewakili P(Event)seperti yang diprediksi oleh model saya; yang garis merah horisontal …

9 time-series  probability  prediction  model-comparison  model-evaluation 

Saya memiliki data 2-kelas berlabel di mana saya melakukan klasifikasi menggunakan beberapa pengklasifikasi. Dan datasetnya seimbang. Ketika menilai kinerja pengklasifikasi, saya perlu mempertimbangkan seberapa akurat pengklasifikasi dalam menentukan tidak hanya positif sejati, tetapi juga negatif sebenarnya. Oleh karena itu, jika saya menggunakan akurasi, dan jika pengklasifikasi cenderung positif dan mengklasifikasikan …

9 classification  roc  model-evaluation  sensitivity-specificity 

Dalam data saya, saya memiliki variabel kelas, dilambangkan sebagai . Nilai variabel kelas ini adalah (biner). Hampir semua pengamatan adalah 0 (mendekati 100%, lebih tepatnya, 97%). Saya ingin tes "kinerja" pada model klasifikasi yang berbeda (bisa jadi akurasi). Apa yang saya takutkan terjadi adalah bahwa jika saya memiliki model klasifikasi …

9 classification  binary-data  model-evaluation 

Saat ini saya sedang mengerjakan beberapa data deret waktu, saya tahu saya bisa menggunakan model LOESS / ARIMA. Data ditulis ke vektor yang panjangnya 1000, yang merupakan antrian, diperbarui setiap 15 menit, Dengan demikian data lama akan muncul sementara data baru mendorong dalam vektor. Saya dapat menjalankan kembali seluruh model …

9 time-series  model-evaluation 

Untuk masalah klasifikasi saya telah menggunakan Neural Networks dan mengukur kesalahan Tipe I dan II menggunakan matriks kebingungan dan ukurannya sesuai sumber daya ini ( mirror ), yang cukup mudah. Ketika dihadapkan dengan masalah estimasi, bagaimana seseorang menilai kinerja model? Dengan asumsi bahwa tidak ada kelas dan output ditafsirkan dalam …

9 regression  machine-learning  estimation  model-evaluation 

Saya menemukan metrik kesalahan yang digunakan untuk menghitung kesalahan rekonstruksi model: mana adalah titik data ke- , adalah estimasi model dari titik data ke- , dan adalah rata-rata dari semua titik data. Pembilangnya adalah total kuadrat kesalahan model, dan penyebutnya adalah deviasi kuadrat dari rata-rata data.ε=∑i(yi−mi)2∑i(yi−y¯)2ε=∑i(yi−mi)2∑i(yi−y¯)2 \varepsilon = \frac{\sum_i{\left(y_i-m_i\right)^2}}{\sum_i{\left(y_i-\bar{y}\right)^2}} yiyiy_iiiimimim_iiiiy¯y¯\bar{y} …

8 terminology  error  model-evaluation 

Saya cukup bingung bagaimana saya bisa menghitung nilai AP atau mAP karena tampaknya ada beberapa metode yang berbeda. Saya secara khusus ingin mendapatkan nilai AP / mAP untuk deteksi objek. Yang saya tahu pasti adalah: Ingat = TP / (TP + FN), Presisi = TP / (TP + FP) Misalnya, …

8 machine-learning  precision-recall  model-evaluation  average-precision  object-detection