Ilmu Data

Dari sedikit berkecimpung dengan ilmu data menggunakan R, saya menyadari bahwa membersihkan data yang buruk adalah bagian yang sangat penting dalam mempersiapkan data untuk analisis. Apakah ada praktik atau proses terbaik untuk membersihkan data sebelum memprosesnya? Jika demikian, apakah ada alat otomatis atau semi-otomatis yang menerapkan beberapa praktik terbaik ini?

34 r  data-cleaning 

Ketika saya mengatakan "dokumen", saya memikirkan halaman web seperti artikel Wikipedia dan cerita berita. Saya lebih suka jawaban yang memberikan metrik jarak vanila atau metrik jarak semantik canggih, dengan preferensi yang lebih kuat untuk yang terakhir.

34 machine-learning  data-mining  nlp  text-mining  similarity 

Saat ini saya mencoba untuk membuka file dengan panda dan python untuk tujuan pembelajaran mesin, akan ideal bagi saya untuk memiliki semuanya dalam DataFrame. Sekarang file tersebut berukuran 18GB dan RAM saya 32 GB tetapi saya terus mendapatkan kesalahan memori. Dari pengalaman Anda, mungkinkah? Jika tidak, apakah Anda tahu cara …

33 python  bigdata  pandas  anaconda 

Bagaimana Anda bisa memprogram di perpustakaan keras (atau tensorflow) untuk mempartisi pelatihan pada beberapa GPU? Katakanlah Anda menggunakan instance Amazon ec2 yang memiliki 8 GPU dan Anda ingin menggunakan semuanya untuk berlatih lebih cepat, tetapi kode Anda hanya untuk satu CPU atau GPU.

33 python  deep-learning  tensorflow  keras  gpu 

Saya membaca tentang NCE (suatu bentuk pengambilan sampel kandidat) dari dua sumber ini: Tulisan Tensorflow Kertas asli Adakah yang bisa membantu saya dengan hal berikut: Penjelasan sederhana tentang cara kerja NCE (saya menemukan hal di atas sulit diurai dan mendapatkan pemahaman, sehingga sesuatu yang intuitif yang mengarah ke matematika yang …

32 deep-learning  tensorflow  word-embeddings  sampling  loss-function 

Dengan Hadoop 2.0 dan BENANG Hadoop seharusnya tidak lagi terikat hanya solusi pengurangan peta. Dengan kemajuan itu, apa kasus penggunaan untuk Apache Spark vs Hadoop mempertimbangkan keduanya duduk di atas HDFS? Saya sudah membaca dokumentasi pendahuluan untuk Spark, tetapi saya ingin tahu apakah ada orang yang menemukan masalah yang lebih …

30 apache-hadoop  distributed  knowledge-base 

Jadi, baru-baru ini ada kertas Normalisasi Layer . Ada juga implementasi di Keras. Tapi saya ingat ada makalah yang berjudul Normalisasi Batch Berulang (Cooijmans, 2016) dan Batch Normalisasi Jaringan Saraf Berulang (Laurent, 2015). Apa perbedaan antara ketiganya? Ada bagian Pekerjaan Terkait ini yang saya tidak mengerti: Normalisasi batch sebelumnya telah …

30 deep-learning  rnn  normalization  batch-normalization 

Saya bekerja pada penelitian, di mana kebutuhan untuk satu mengklasifikasikan tiga acara WINNER = ( win, draw, lose) WINNER LEAGUE HOME AWAY MATCH_HOME MATCH_DRAW MATCH_AWAY MATCH_U2_50 MATCH_O2_50 3 13 550 571 1.86 3.34 4.23 1.66 2.11 3 7 322 334 7.55 4.1 1.4 2.17 1.61 Model saya saat ini adalah: …

30 python  neural-network  classification  clustering  keras 

Saya memiliki masalah data besar dengan dataset besar (misalnya 50 juta baris dan 200 kolom). Dataset terdiri dari sekitar 100 kolom numerik dan 100 kolom kategorikal dan kolom respons yang mewakili masalah kelas biner. Kardinalitas masing-masing kolom kategorikal kurang dari 50. Saya ingin tahu apriori apakah saya harus menggunakan metode …

30 machine-learning  classification  deep-learning 

Mengapa menggunakan softmax sebagai lawan dari normalisasi standar? Di area komentar dari jawaban teratas dari pertanyaan ini, @Kilian Batzner mengajukan 2 pertanyaan yang juga membingungkan saya. Sepertinya tidak ada yang memberi penjelasan kecuali manfaat numerik. Saya mendapatkan alasan untuk menggunakan Cross-Entropy Loss, tetapi bagaimana hubungannya dengan softmax? Anda mengatakan "fungsi …

30 machine-learning  deep-learning 

Sepertinya saya bahwa fungsi dapat dengan mudah diekspresikan oleh fungsi dan dengan demikian fungsi tampaknya berlebihan bagi saya. Namun, saya baru belajar penguatan, jadi saya kira ada yang salah.VVVQQQVVV Definisi Pembelajaran Q dan V berada dalam konteks Proses Keputusan Markov . Sebuah MDP adalah 5-tuple dengan(S,A,P,R,γ)(S,A,P,R,γ)(S, A, P, R, \gamma) …

30 machine-learning  reinforcement-learning 

Dalam tugas-tugas pembelajaran mesin, adalah umum untuk mengacak data dan menormalkannya. Tujuan normalisasi jelas (karena memiliki rentang nilai fitur yang sama). Tapi, setelah banyak berjuang, saya tidak menemukan alasan berharga untuk mengacak data. Saya telah membaca posting ini di sini membahas kapan kita perlu mengacak data, tetapi tidak jelas mengapa …

30 machine-learning  neural-network  deep-learning 

Dalam konteks Pembelajaran Mesin , saya telah melihat istilah Ground Truth banyak digunakan. Saya telah mencari banyak dan menemukan definisi berikut di Wikipedia : Dalam pembelajaran mesin, istilah "kebenaran dasar" mengacu pada akurasi klasifikasi set pelatihan untuk teknik pembelajaran yang diawasi. Ini digunakan dalam model statistik untuk membuktikan atau menyangkal …

30 machine-learning  neural-network  deep-learning 

Saya mencoba mengonversi daftar daftar yang terlihat seperti yang berikut ini menjadi Bingkai Data Pandas [['New York Yankees ', '"Acevedo Juan" ', 900000, ' Pitcher\n'], ['New York Yankees ', '"Anderson Jason"', 300000, ' Pitcher\n'], ['New York Yankees ', '"Clemens Roger" ', 10100000, ' Pitcher\n'], ['New York Yankees ', '"Contreras Jose"', …

30 pandas 

Saya mencoba untuk melatih model peningkatan gradien lebih dari 50k contoh dengan 100 fitur numerik. XGBClassifiermenangani 500 pohon dalam waktu 43 detik pada mesin saya, sementara GradientBoostingClassifierhanya menangani 10 pohon (!) dalam 1 menit dan 2 detik :( Saya tidak repot-repot mencoba menumbuhkan 500 pohon karena akan memakan waktu berjam-jam. …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning