Pertanyaan yang diberi tag «unbalanced-classes»

Tugas 'pembelajaran mesin' saya adalah memisahkan lalu lintas Internet jinak dari lalu lintas jahat. Dalam skenario dunia nyata, sebagian besar (katakanlah 90% atau lebih) dari lalu lintas Internet tidak berbahaya. Jadi saya merasa bahwa saya harus memilih pengaturan data yang serupa untuk melatih model saya juga. Tetapi saya menemukan satu …

48 machine-learning  dataset  unbalanced-classes 

Saya memiliki masalah klasifikasi dengan sekitar 1000 sampel positif dan 10.000 negatif dalam set pelatihan. Jadi kumpulan data ini cukup tidak seimbang. Hutan acak sederhana hanya mencoba menandai semua sampel uji sebagai kelas mayoritas. Beberapa jawaban yang baik tentang sub-sampling dan hutan acak berbobot diberikan di sini: Apa implikasi untuk …

29 machine-learning  classification  dataset  unbalanced-classes 

Saya memiliki 3 kelas dengan distribusi ini: Class 0: 0.1169 Class 1: 0.7668 Class 2: 0.1163 Dan saya menggunakan xgboostuntuk klasifikasi. Saya tahu bahwa ada parameter bernama scale_pos_weight. Tetapi bagaimana penanganannya untuk kasus 'multi-kelas', dan bagaimana cara mengaturnya dengan benar?

20 classification  xgboost  multiclass-classification  unbalanced-classes 

Saya memiliki dataset biner yang sangat bias - Saya memiliki 1000x lebih banyak contoh kelas negatif daripada kelas positif. Saya ingin melatih Ensemble Pohon (seperti Pohon Acak Ekstra atau Hutan Acak) pada data ini, tetapi sulit untuk membuat kumpulan data pelatihan yang berisi cukup contoh kelas positif. Apa implikasi dari …

14 machine-learning  feature-selection  unbalanced-classes 

Teknik Minorive Oversampling (SMOTE) adalah teknik oversampling yang digunakan dalam masalah dataset yang tidak seimbang. Sejauh ini saya punya ide bagaimana menerapkannya pada data umum, terstruktur. Tetapi apakah mungkin untuk menerapkannya pada masalah klasifikasi teks? Bagian mana dari data yang perlu Anda sampel berlebihan? Sudah ada pertanyaan lain tentang itu, …

13 unbalanced-classes  text  smote 

Apakah ada aturan praktis (atau aturan aktual) yang berkaitan dengan jumlah sel LSTM minimum, maksimum, dan "wajar" yang harus saya gunakan? Secara khusus saya berhubungan dengan BasicLSTMCell dari TensorFlow dan num_unitsproperti. Harap asumsikan bahwa saya memiliki masalah klasifikasi yang ditentukan oleh: t - number of time steps n - length …

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

Saya memiliki dataset yang memiliki atribut kelas biner. Ada 623 contoh dengan kelas +1 (kanker positif) dan 101.671 contoh dengan kelas -1 (kanker negatif). Saya telah mencoba berbagai algoritma (Naif Bayes, Random Forest, AODE, C4.5) dan semuanya memiliki rasio negatif palsu yang tidak dapat diterima. Random Forest memiliki akurasi prediksi …

11 classification  random-forest  decision-trees  unbalanced-classes 

Ditutup . Pertanyaan ini perlu lebih fokus . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga berfokus pada satu masalah hanya dengan mengedit posting ini . Ditutup 4 tahun yang lalu . Saya sedang mengerjakan suatu proyek dan saya mengalami kesulitan dalam menentukan algoritma mana yang …

10 machine-learning  algorithms  random-forest  linear-regression  decision-trees  machine-learning  predictive-modeling  forecast  r  clustering  similarity  data-mining  dataset  statistics  text-mining  text-mining  data-cleaning  data-wrangling  machine-learning  classification  algorithms  xgboost  data-mining  dataset  dataset  regression  graphs  svm  unbalanced-classes  cross-validation  optimization  hyperparameter  genetic-algorithms  visualization  predictive-modeling  correlation  machine-learning  predictive-modeling  apache-spark  statistics  normalization  apache-spark  map-reduce  r  correlation  confusion-matrix  r  data-cleaning  classification  terminology  dataset  image-classification  machine-learning  regression  apache-spark  machine-learning  data-mining  nlp  parsing  machine-learning  dimensionality-reduction  visualization  clustering  multiclass-classification  evaluation  unsupervised-learning  machine-learning  machine-learning  data-mining  supervised-learning  unsupervised-learning  machine-learning  data-mining  classification  statistics  predictive-modeling  data-mining  clustering  python  pandas  machine-learning  dataset  data-cleaning  data  bigdata  software-recommendation 

Di python sklearn, ada beberapa algoritma (misalnya regresi, hutan acak ... dll.) Yang memiliki parameter class_weight untuk menangani data yang tidak seimbang. Namun, saya tidak menemukan parameter seperti itu untuk algoritma MLLib. Apakah ada rencana penerapan class_weight untuk beberapa algoritma MLLib? Atau apakah ada pendekatan dalam MLLib untuk data yang …

8 machine-learning  apache-spark  unbalanced-classes  weighted-data