Ilmu Data

Saya memiliki masalah klasifikasi dengan sekitar 1000 sampel positif dan 10.000 negatif dalam set pelatihan. Jadi kumpulan data ini cukup tidak seimbang. Hutan acak sederhana hanya mencoba menandai semua sampel uji sebagai kelas mayoritas. Beberapa jawaban yang baik tentang sub-sampling dan hutan acak berbobot diberikan di sini: Apa implikasi untuk …

29 machine-learning  classification  dataset  unbalanced-classes 

Saya memiliki sejumlah besar data (sekitar 8GB). Saya ingin menggunakan pembelajaran mesin untuk menganalisisnya. Jadi, saya pikir saya harus menggunakan SVD kemudian PCA untuk mengurangi dimensi data untuk efisiensi. Namun, MATLAB dan Oktaf tidak dapat memuat set data besar tersebut. Alat apa yang dapat saya gunakan untuk melakukan SVD dengan …

29 bigdata  data-mining  dimensionality-reduction 

Khususnya apa yang saya cari adalah alat dengan beberapa fungsi, yang khusus untuk rekayasa fitur. Saya ingin dapat dengan mudah menghaluskan, memvisualisasikan, mengisi celah, dll. Sesuatu yang mirip dengan MS Excel, tetapi yang memiliki R sebagai bahasa yang mendasari bukannya VB.

29 feature-selection  feature-extraction  feature-construction 

Pertanyaan ini bermuara pada "bagaimana lapisan lilit persis pekerjaan. Misalkan saya memiliki gambar skala abu-abu . Jadi gambar memiliki satu saluran. Di lapisan pertama, saya menerapkan konvolusi dengan filter dan bantalan . Lalu saya punya layer konvolusi lain dengan konvolusi dan filter . Berapa banyak peta fitur yang saya miliki?3 …

29 neural-network  convnet 

Saya telah melihat diskusi tentang 'overhead' GPU, dan untuk jaringan 'kecil', mungkin sebenarnya lebih cepat untuk berlatih menggunakan CPU (atau jaringan CPU) daripada GPU. Apa yang dimaksud dengan 'kecil'? Misalnya, apakah MLP satu-lapis dengan 100 unit tersembunyi akan 'kecil'? Apakah definisi kami tentang 'kecil' berubah untuk arsitektur berulang? Apakah ada …

29 neural-network  deep-learning  gpu 

Apa manfaat utama dari menyimpan data dalam HDF? Dan apa tugas sains data utama di mana HDF sangat cocok dan bermanfaat?

28 data-formats  hierarchical-data-format 

Jadi, saya baru mulai belajar bagaimana jaringan saraf dapat beroperasi untuk mengenali pola dan mengategorikan input, dan saya telah melihat bagaimana jaringan saraf tiruan dapat mengurai data gambar dan mengkategorikan gambar ( demo dengan convnetjs ), dan kuncinya ada adalah untuk mengecilkan gambar dan setiap piksel merangsang satu neuron input …

28 neural-network 

Ketika salah satu akan menggunakan Random Forestlebih SVMdan sebaliknya? Saya memahami itu cross-validationdan perbandingan model merupakan aspek penting dalam memilih model, tetapi di sini saya ingin belajar lebih banyak tentang aturan praktis dan heuristik dari dua metode. Dapatkah seseorang tolong jelaskan seluk-beluk, kekuatan, dan kelemahan pengklasifikasi serta masalah, yang paling …

28 machine-learning  classification  random-forest  svm 

Perhatikan bahwa saya melakukan semuanya dalam R. Masalahnya sebagai berikut: Pada dasarnya, saya memiliki daftar riwayat hidup (CV). Beberapa kandidat akan memiliki pengalaman kerja sebelumnya dan beberapa tidak. Tujuannya di sini adalah untuk: berdasarkan teks pada CV mereka, saya ingin mengklasifikasikan mereka ke dalam sektor pekerjaan yang berbeda. Saya khususnya …

28 machine-learning  classification  nlp  text-mining 

Jadi, saya belum dapat menemukan literatur tentang hal ini tetapi sepertinya ada sesuatu yang layak dipertimbangkan: Apa praktik terbaik dalam pelatihan model dan optimisasi jika pengamatan baru tersedia? Apakah ada cara untuk menentukan periode / frekuensi pelatihan ulang model sebelum prediksi mulai menurun? Apakah terlalu pas jika parameter dioptimalkan kembali …

28 machine-learning  predictive-modeling  optimization  training 

Saya mengikuti contoh ini di situs scikit-learn untuk melakukan klasifikasi multioutput dengan model Random Forest. from sklearn.datasets import make_classification from sklearn.multioutput import MultiOutputClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.utils import shuffle import numpy as np X, y1 = make_classification(n_samples=5, n_features=5, n_informative=2, n_classes=2, random_state=1) y2 = shuffle(y1, random_state=1) Y = np.vstack((y1, …

28 scikit-learn  random-forest  multilabel-classification 

Saya telah memperhatikan bahwa istilah seperti model hyperparameter dan parameter model telah digunakan secara bergantian di web tanpa klarifikasi sebelumnya. Saya pikir ini salah dan perlu penjelasan. Pertimbangkan model pembelajaran mesin, classificator berbasis SVM / NN / NB atau pengenal gambar, apa saja yang pertama kali muncul dalam pikiran. Apa …

28 machine-learning  parameter  hyperparameter  language-model 

Kesamaan Jaccard dan kesamaan cosinus adalah dua pengukuran yang sangat umum sambil membandingkan kesamaan item. Namun, saya tidak begitu jelas dalam situasi apa yang mana yang lebih disukai daripada yang lain. Dapatkah seseorang membantu memperjelas perbedaan dari dua pengukuran ini (perbedaan dalam konsep atau prinsip, bukan definisi atau perhitungan) dan …

27 similarity 

XGBoost telah melakukan pekerjaan dengan baik, ketika berurusan dengan variabel dependen kategoris dan kontinu. Tapi, bagaimana cara memilih parameter yang dioptimalkan untuk masalah XGBoost? Ini adalah bagaimana saya menerapkan parameter untuk masalah Kaggle baru-baru ini: param <- list( objective = "reg:linear", booster = "gbtree", eta = 0.02, # 0.06, #0.01, …

27 r  python  xgboost 

Saya memiliki sedikit pengetahuan otodidak yang bekerja dengan algoritma Machine Learning (jenis dasar Random Forest dan Linear Regression). Saya memutuskan untuk bercabang dan mulai belajar RNN dengan Keras. Ketika melihat sebagian besar contoh, yang biasanya melibatkan prediksi stok, saya belum dapat menemukan contoh dasar beberapa fitur yang diterapkan selain 1 …

27 machine-learning  neural-network  keras