Pertanyaan yang diberi tag «hadoop»

Salah satu contoh utama yang digunakan untuk mendemonstrasikan kekuatan MapReduce adalah tolok ukur Terasort . Saya kesulitan memahami dasar-dasar algoritme pengurutan yang digunakan di lingkungan MapReduce. Bagi saya, pengurutan hanya melibatkan penentuan posisi relatif suatu elemen dalam hubungannya dengan semua elemen lainnya. Jadi penyortiran melibatkan membandingkan "segala sesuatu" dengan "semuanya". …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Apakah mereka seharusnya setara? tapi, mengapa perintah " hadoop fs" menampilkan hdfs filessementara perintah " hdfs dfs" menampilkan file lokal? berikut adalah informasi versi hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversi git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Disusun oleh jenkins pada Senin 22 April 10:48:26 PDT 2013

109 hadoop  hdfs 

Saya mendapatkan kesalahan berikut saat memulai namenode untuk rilis hadoop-2.2 terbaru. Saya tidak menemukan file exe winutils di folder bin hadoop. Saya mencoba di bawah perintah $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path …

108 hadoop 

Saya tahu du -shdi filesystem Linux umum. Tetapi bagaimana melakukannya dengan HDFS?

99 hadoop  command-line  directory  hdfs 

Tutup. Pertanyaan ini tidak memenuhi pedoman Stack Overflow . Saat ini tidak menerima jawaban. Ingin memperbaiki pertanyaan ini? Perbarui pertanyaan agar sesuai dengan topik untuk Stack Overflow. Tutup 4 tahun lalu . Perbaiki pertanyaan ini Jadi, saya telah melihat Hadoop dengan penuh minat, dan sejujurnya saya terpesona, semuanya tidak menjadi …

98 c#  .net  hadoop  mapreduce 

Saya mencoba menjalankan sederhana NaiveBayesClassifermenggunakan hadoop, mendapatkan kesalahan ini Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) Kode: Configuration configuration = new Configuration(); NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error in this …

97 java  hadoop  io 

Saya berencana menggunakan salah satu format file hadoop untuk proyek terkait hadoop saya. Saya memahami parket efisien untuk kueri berbasis kolom dan avro untuk pemindaian penuh atau ketika kita membutuhkan semua data kolom! Sebelum saya melanjutkan dan memilih salah satu format file, saya ingin memahami apa saja kekurangan / kekurangan …

92 hadoop  avro  parquet 

Apakah ada ketergantungan antara Spark dan Hadoop ? Jika tidak, apakah ada fitur yang akan saya lewatkan saat menjalankan Spark tanpa Hadoop ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

Saat menginstal hadoop di mesin lokal saya, saya mendapat kesalahan berikut ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost [127.0.0.1] port 22. debug1: connect to address 127.0.0.1 port 22: Connection refused …

90 linux  hadoop  ssh 

Bagaimana cara menemukan versi Hive yang saya gunakan dari command prompt. Berikut detailnya- Saya menggunakan Putty untuk menyambung ke tabel sarang dan mengakses catatan di tabel. Jadi yang saya lakukan adalah- Saya membuka Putty dan di nama host saya mengetik- leo-ingesting.vip.name.comdan kemudian saya klik Open. Dan kemudian saya memasukkan nama …

89 hadoop  hive 

Saya menjalankan beberapa tes pada format penyimpanan yang tersedia dengan Hive dan menggunakan Parquet dan ORC sebagai opsi utama. Saya memasukkan ORC sekali dengan kompresi default dan sekali dengan Snappy. Saya telah membaca banyak dokumen yang menyatakan Parquet menjadi lebih baik dalam kompleksitas ruang / waktu dibandingkan dengan ORC tetapi …

88 hadoop  hive  parquet  snappy  orc