Pertanyaan yang diberi tag «apache-hadoop»

Seorang ilmuwan data yang bercita-cita di sini. Saya tidak tahu apa-apa tentang Hadoop, tetapi karena saya telah membaca tentang Ilmu Data dan Big Data, saya melihat banyak pembicaraan tentang Hadoop. Apakah benar-benar perlu untuk mempelajari Hadoop untuk menjadi Ilmuwan Data?

38 bigdata  apache-hadoop 

Dengan Hadoop 2.0 dan BENANG Hadoop seharusnya tidak lagi terikat hanya solusi pengurangan peta. Dengan kemajuan itu, apa kasus penggunaan untuk Apache Spark vs Hadoop mempertimbangkan keduanya duduk di atas HDFS? Saya sudah membaca dokumentasi pendahuluan untuk Spark, tetapi saya ingin tahu apakah ada orang yang menemukan masalah yang lebih …

30 apache-hadoop  distributed  knowledge-base 

Saya membuat corr()df dari df asli. The corr()df keluar 70 X 70 dan tidak mungkin untuk memvisualisasikan heatmap tersebut ... sns.heatmap(df). Jika saya mencoba untuk menampilkan corr = df.corr(), tabel tidak cocok dengan layar dan saya bisa melihat semua korelasinya. Apakah ini cara untuk mencetak keseluruhan dfterlepas dari ukurannya atau …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Saya mendengar tentang banyak alat / kerangka kerja untuk membantu orang memproses data mereka (lingkungan data besar). Satu disebut Hadoop dan yang lainnya adalah konsep noSQL. Apa perbedaan titik pemrosesan? Apakah mereka saling melengkapi?

15 nosql  tools  processing  apache-hadoop 

Ada banyak hype di sekitar Hadoop dan ekosistemnya. Namun, dalam praktiknya, di mana banyak set data berada dalam kisaran terabyte, apakah tidak lebih masuk akal untuk menggunakan Amazon RedShift untuk menanyakan set data besar, daripada menghabiskan waktu dan upaya membangun cluster Hadoop? Juga, bagaimana Amazon Redshift dibandingkan dengan Hadoop sehubungan …

12 apache-hadoop  map-reduce  aws 

Dapatkah seseorang dengan ramah memberi tahu saya tentang pertukaran yang terlibat ketika memilih antara Storm dan MapReduce di Hadoop Cluster untuk pemrosesan data? Tentu saja, selain dari yang sudah jelas, bahwa Hadoop (pemrosesan melalui MapReduce dalam Hadoop Cluster) adalah sistem pemrosesan batch, dan Storm adalah sistem pemrosesan waktu-nyata. Saya telah …

12 bigdata  efficiency  apache-hadoop  distributed 

Saya membuat prototipe aplikasi dan saya membutuhkan model bahasa untuk menghitung kebingungan pada beberapa kalimat yang dihasilkan. Apakah ada model bahasa terlatih dalam python yang bisa saya gunakan? Sesuatu yang sederhana seperti model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

Di perusahaan kami, kami memiliki database MongoDB yang berisi banyak data tidak terstruktur, di mana kami perlu menjalankan algoritma pengurangan peta untuk menghasilkan laporan dan analisis lainnya. Kami memiliki dua pendekatan untuk dipilih untuk mengimplementasikan analisis yang diperlukan: Salah satu pendekatan adalah mengekstraksi data dari MongoDB ke cluster Hadoop dan …

11 scalability  apache-hadoop  map-reduce  mongodb 

Ditutup . Pertanyaan ini perlu lebih fokus . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga berfokus pada satu masalah hanya dengan mengedit posting ini . Ditutup 5 tahun yang lalu . Sepertinya sebagian besar bahasa memiliki sejumlah perpustakaan komputasi ilmiah yang tersedia. Python memiliki Scipy …

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

Dalam mengulas “ Pemodelan Prediktif Terapan ", penulis menyatakan : Salah satu kritik yang saya miliki tentang pedagogi pembelajaran statistik (SL) adalah tidak adanya pertimbangan kinerja komputasi dalam evaluasi teknik pemodelan yang berbeda. Dengan penekanannya pada bootstrap dan validasi silang ke model tune / test, SL cukup intensif komputasi. Tambahkan …

10 apache-hadoop  r 

Saya memiliki dua tensor a:[batch_size, dim] b:[batch_size, dim]. Saya ingin melakukan produk dalam untuk setiap pasangan dalam batch, menghasilkan c:[batch_size, 1], di mana c[i,0]=a[i,:].T*b[i,:]. Bagaimana?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

Apa saja kelas yang berbeda dari masalah sains data yang dapat diselesaikan dengan menggunakan model pemrograman mapreduce?

8 apache-hadoop  map-reduce 

Melalui presentasi dan materi Summingbird oleh Twitter, salah satu alasan yang disebutkan untuk menggunakan cluster Storm dan Hadoop bersama-sama di Summingbird adalah bahwa pemrosesan melalui Storm menghasilkan cascading of error. Untuk menghindari cascading kesalahan dan akumulasi itu, cluster Hadoop digunakan untuk mengolah data dan membuang hasil Storm setelah data yang …

8 bigdata  apache-hadoop