Pertanyaan yang diberi tag «dataset»

Salah satu masalah umum dalam ilmu data adalah mengumpulkan data dari berbagai sumber dalam format yang entah bagaimana dibersihkan (semi-terstruktur) dan menggabungkan metrik dari berbagai sumber untuk membuat analisis tingkat yang lebih tinggi. Melihat upaya orang lain, terutama pertanyaan lain di situs ini, tampaknya banyak orang di bidang ini melakukan …

168 open-source  dataset 

Tugas 'pembelajaran mesin' saya adalah memisahkan lalu lintas Internet jinak dari lalu lintas jahat. Dalam skenario dunia nyata, sebagian besar (katakanlah 90% atau lebih) dari lalu lintas Internet tidak berbahaya. Jadi saya merasa bahwa saya harus memilih pengaturan data yang serupa untuk melatih model saya juga. Tetapi saya menemukan satu …

48 machine-learning  dataset  unbalanced-classes 

Saya mencoba untuk melatih model peningkatan gradien lebih dari 50k contoh dengan 100 fitur numerik. XGBClassifiermenangani 500 pohon dalam waktu 43 detik pada mesin saya, sementara GradientBoostingClassifierhanya menangani 10 pohon (!) dalam 1 menit dan 2 detik :( Saya tidak repot-repot mencoba menumbuhkan 500 pohon karena akan memakan waktu berjam-jam. …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Saya memiliki masalah klasifikasi dengan sekitar 1000 sampel positif dan 10.000 negatif dalam set pelatihan. Jadi kumpulan data ini cukup tidak seimbang. Hutan acak sederhana hanya mencoba menandai semua sampel uji sebagai kelas mayoritas. Beberapa jawaban yang baik tentang sub-sampling dan hutan acak berbobot diberikan di sini: Apa implikasi untuk …

29 machine-learning  classification  dataset  unbalanced-classes 

Sebagai ekstensi ke daftar hebat kumpulan data kami yang tersedia untuk umum , saya ingin tahu apakah ada daftar dataset jaringan sosial / API perayapan yang tersedia untuk umum. Akan sangat baik jika bersama dengan tautan ke dataset / API, karakteristik data yang tersedia ditambahkan. Informasi tersebut harus, dan tidak …

26 open-source  dataset  crawling 

Teknik umum setelah pelatihan, memvalidasi dan menguji model Machine Learning preferensi adalah dengan menggunakan dataset lengkap, termasuk subset pengujian, untuk melatih model akhir untuk menyebarkannya , misalnya produk. Pertanyaan saya adalah: Apakah selalu yang terbaik untuk dilakukan? Bagaimana jika kinerja benar-benar memburuk? Sebagai contoh, mari kita asumsikan suatu kasus di …

24 machine-learning  dataset  training  accuracy 

Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 5 tahun yang lalu . Saya tidak tahu apakah ini tempat yang tepat untuk mengajukan pertanyaan ini, tetapi …

23 machine-learning  bigdata  dataset 

Secara umum, model pembelajaran mesin dibangun di atas kumpulan data. Saya ingin tahu apakah ada cara untuk menghasilkan set data sintetik menggunakan model pembelajaran mesin terlatih yang mempertahankan karakteristik dataset asli? [data asli -> model pembelajaran mesin bangun -> gunakan model ml untuk menghasilkan data sintetis .... !!!] Apa itu …

19 machine-learning  dataset 

Saat ini saya sedang mencari dataset berlabel untuk melatih model untuk mengekstrak entitas bernama dari teks informal (sesuatu yang mirip dengan tweets). Karena kapitalisasi dan tata bahasa sering kurang dalam dokumen dalam set data saya, saya mencari di luar data domain yang sedikit lebih "informal" daripada entri artikel artikel dan …

18 dataset  nlp 

Saya sedang mengerjakan tantangan Kaggle di mana beberapa variabel diwakili oleh baris, bukan kolom (Telstra Network Disrupt). Saat ini saya sedang mencari yang setara dengan kumpulkan (), pisahkan () dan sebarkan (), yang dapat ditemukan di alat Rtidyr.

18 r  python  dataset  data-cleaning  pandas 

Saya membuat corr()df dari df asli. The corr()df keluar 70 X 70 dan tidak mungkin untuk memvisualisasikan heatmap tersebut ... sns.heatmap(df). Jika saya mencoba untuk menampilkan corr = df.corr(), tabel tidak cocok dengan layar dan saya bisa melihat semua korelasinya. Apakah ini cara untuk mencetak keseluruhan dfterlepas dari ukurannya atau …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Jika saya melihat salah satu dari sekian banyak sumber untuk kelas Imagenet di Internet, saya tidak dapat menemukan satu kelas pun yang berhubungan dengan manusia (dan tidak, pemanen bukanlah seseorang yang memanen, tetapi itulah yang saya kenal sebagai bapak longlegs, semacam laba-laba :-). Bagaimana mungkin? Saya akan memiliki setidaknya diharapkan …

14 machine-learning  deep-learning  dataset  convnet  image-classification 

Saya harap pertanyaan ini adalah yang paling cocok di situs ini ... Dalam Python, biasanya nama kelas didefinisikan menggunakan huruf kapital sebagai karakter pertama, misalnya class Vehicle: ... Namun, dalam bidang pembelajaran mesin, sering kali melatih dan menguji data didefinisikan sebagai Xdan Y- bukan xdan y. Sebagai contoh, saya sekarang …

14 python  dataset 

Saya seorang pemula dalam pembelajaran mesin dan saya menghadapi situasi. Saya sedang mengerjakan masalah Penawaran Waktu Nyata, dengan dataset IPinYou dan saya mencoba melakukan prediksi klik. Masalahnya adalah, seperti yang Anda ketahui, dataset sangat tidak seimbang: Sekitar 1.300 contoh negatif (non klik) untuk 1 contoh positif (klik). Inilah yang saya …

13 machine-learning  dataset  sampling 

Saya memiliki serangkaian hasil dari uji A / B (satu grup kontrol, satu grup fitur) yang tidak sesuai dengan Distribusi Normal. Bahkan distribusi lebih menyerupai Distribusi Landau. Saya percaya uji-t independen mensyaratkan bahwa sampel harus setidaknya terdistribusi secara normal, yang menghambat saya menggunakan uji-t sebagai metode pengujian signifikansi yang valid. …

13 dataset  statistics  ab-test