Ilmu Data

Apa saja keuntungan dari penyimpanan data kolom yang membuatnya lebih cocok untuk ilmu data dan analitik?

23 databases  tools 

Apakah perlu untuk membakukan data Anda sebelum cluster? Dalam contoh dari scikit learntentang DBSCAN, di sini mereka melakukan ini di baris: X = StandardScaler().fit_transform(X) Tapi saya tidak mengerti mengapa itu perlu. Bagaimanapun, pengelompokan tidak mengasumsikan distribusi data tertentu - itu adalah metode pembelajaran yang tidak diawasi sehingga tujuannya adalah untuk …

23 python  clustering  clusters  anomaly-detection 

Saya mencoba mengelompokkan beberapa vektor dengan 90 fitur dengan K-means. Karena algoritma ini menanyakan jumlah cluster, saya ingin memvalidasi pilihan saya dengan beberapa matematika yang bagus. Saya berharap memiliki 8 hingga 10 cluster. Fitur-fiturnya adalah skala Z-skor. Metode dan varians siku dijelaskan from scipy.spatial.distance import cdist, pdist from sklearn.cluster import …

23 clustering  k-means 

Ada banyak teknik untuk memvisualisasikan kumpulan data berdimensi tinggi, seperti T-SNE, isomap, PCA, PCA yang diawasi, dll. Dan kami melalui gerakan memproyeksikan data ke ruang 2D atau 3D, jadi kami memiliki "gambar-gambar cantik" ". Beberapa metode penanaman (manifold learning) ini dijelaskan di sini . Tapi apakah "gambar cantik" ini benar-benar …

23 machine-learning  dimensionality-reduction  visualization 

Saya ingin membandingkan satu kolom df dengan df lainnya. Kolom adalah nama dan nama belakang. Saya ingin memeriksa apakah seseorang dalam satu frame data ada di frame lain.

23 pandas  dataframe 

Apakah lebih baik untuk menyandikan fitur seperti bulan dan jam sebagai faktor atau angka dalam model pembelajaran mesin? Di satu sisi, saya merasa pengkodean numerik mungkin masuk akal, karena waktu adalah proses maju maju (bulan kelima diikuti oleh bulan keenam), tetapi di sisi lain saya pikir pengkodean kategororial mungkin lebih …

23 machine-learning  feature-extraction  feature-engineering  encoding  numerical 

Saat ini saya menggunakan XGBoost pada kumpulan data dengan 21 fitur (dipilih dari daftar sekitar 150 fitur), kemudian dikodekan satu kali untuk mendapatkan ~ 98 fitur. Beberapa dari 98 fitur ini agak redundan, misalnya: variabel (fitur) juga muncul sebagai BSEBUAHAA danCBSEBUAHBA\frac{B}{A} .CSEBUAHCA\frac{C}{A} Pertanyaan saya adalah: Bagaimana ( Jika? ) Boosted …

23 feature-selection  correlation  xgboost  gbm 

Saat ini saya sedang bekerja dengan Python dan Scikit belajar untuk keperluan klasifikasi, dan melakukan beberapa pembacaan di sekitar GridSearch. Saya pikir ini adalah cara yang bagus untuk mengoptimalkan parameter estimator saya untuk mendapatkan hasil terbaik. Metodologi saya adalah ini: Bagi data saya menjadi pelatihan / tes. Gunakan GridSearch dengan …

23 machine-learning  cross-validation 

Rupanya, dalam pembelajaran penguatan, metode temporal-difference (TD) adalah metode bootstrap. Di sisi lain, metode Monte Carlo bukan metode bootstrap. Apa sebenarnya bootstrap di RL? Apa itu metode bootstrap di RL?

23 reinforcement-learning 

Saya baru mengenal ML dan ini adalah pertanyaan pertama saya di sini, jadi maaf jika pertanyaan saya konyol. Saya mencoba membaca dan memahami makalah Perhatian yang Anda butuhkan dan di dalamnya, ada gambar: Saya tidak tahu apa itu pengkodean posisi . dengan mendengarkan beberapa video youtube saya menemukan bahwa itu …

23 nlp  encoding  attention-mechanism  transformer 

Saya sedang membaca tentang solusi untuk tantangan OTTO Kaggle ini dan solusi tempat pertama tampaknya menggunakan beberapa transformasi untuk input data X, misalnya Log (X + 1), sqrt (X + 3/8), dll. Apakah ada pedoman umum tentang kapan menerapkan transformasi jenis apa ke berbagai pengklasifikasi? Saya mengerti konsep normalisasi mean-var …

22 machine-learning  feature-extraction  feature-scaling 

Saya ingin membuat server yang dapat mendukung tim ilmu data dengan cara berikut: menjadi titik pusat untuk menyimpan, versi, berbagi, dan mungkin juga menjalankan notebook Jupyter. Beberapa properti yang diinginkan: Pengguna yang berbeda dapat mengakses server dan membuka dan menjalankan buku catatan yang disimpan oleh mereka atau oleh anggota tim …

22 software-recommendation 

Saya agak baru dalam hal ini dan tidak bisa mengatakan saya memiliki pemahaman yang lengkap tentang konsep-konsep teoritis di balik ini. Saya mencoba untuk menghitung KL Divergence antara beberapa daftar poin dengan Python. Saya menggunakan http://scikit-learn.org/stable/modules/generated/sklearn.metrics.mutual_info_score.html untuk mencoba dan melakukan ini. Masalah yang saya hadapi adalah bahwa nilai yang dikembalikan …

22 python  clustering  scikit-learn 

Saya sering mendengar orang mengatakan bahwa mengapa jaringan saraf convolutional masih kurang dipahami. Apakah diketahui mengapa jaringan saraf convolutional selalu berakhir dengan belajar fitur yang semakin canggih saat kita naik lapisan? Apa yang menyebabkan mereka membuat setumpuk fitur dan apakah ini juga berlaku untuk jenis jaringan saraf dalam lainnya?

22 machine-learning  neural-network  deep-learning  convnet  cnn 

Ini lebih seperti pertanyaan NLP umum. Apa input yang tepat untuk melatih embedding kata yaitu Word2Vec? Haruskah semua kalimat yang dimiliki artikel menjadi dokumen terpisah dalam korpus? Atau haruskah setiap artikel menjadi dokumen dalam kata corpus? Ini hanya contoh menggunakan python dan gensim. Corpus dibagi dengan kalimat: SentenceCorpus = [["first", …

22 nlp  word-embeddings