Pertanyaan yang diberi tag «hdfs»

Saya ingin membaca CSV dalam percikan dan mengubahnya sebagai DataFrame dan menyimpannya dalam HDFS dengan df.registerTempTable("table_name") Saya telah mencoba: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Kesalahan yang saya dapatkan: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] …

147 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Karakteristik Apache Parket adalah: Menggambarkan sendiri Format kolom Tidak tergantung bahasa Dibandingkan dengan Avro, Sequence Files, RC File dll. Saya ingin ikhtisar dari format. Saya sudah membaca: Bagaimana Impala Bekerja dengan Format File Hadoop , ini memberikan beberapa wawasan tentang format tetapi saya ingin tahu bagaimana akses ke data & …

136 file  hadoop  hdfs  avro  parquet 

Cara menyalin file dari HDFS ke sistem file lokal. Tidak ada lokasi fisik file di bawah file, bahkan direktori. bagaimana saya bisa memindahkan mereka ke lokal saya untuk validasi lebih lanjut. Saya dicoba melalui wincp.

135 hadoop  copy  hdfs 

Ini semacam pertanyaan yang naif tapi saya baru dengan paradigma NoSQL dan tidak tahu banyak tentang itu. Jadi jika seseorang dapat membantu saya dengan jelas memahami perbedaan antara HBase dan Hadoop atau jika memberikan beberapa petunjuk yang dapat membantu saya memahami perbedaannya. Sampai sekarang, saya melakukan riset dan akses. untuk …

130 hadoop  nosql  hbase  hdfs  difference 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. tidak dapat membuat apa pun di hdfs aku melakukannya root# bin/hadoop fs -safemode leave Tapi menunjukkan safemode: Unknown command Apa masalahnya? Larutan

122 hadoop  hdfs 

Menurut Hadoop - The Definitive Guide Catatan logis yang didefinisikan FileInputFormats biasanya tidak cocok dengan baik ke dalam blok HDFS. Misalnya, catatan logis TextInputFormat adalah garis, yang akan melewati batas HDFS lebih sering daripada tidak. Ini tidak ada hubungannya dengan fungsi program Anda — garis tidak terlewat atau putus, misalnya …

119 hadoop  split  mapreduce  block  hdfs 

Dalam pemrograman Map Reduce, fase reduce memiliki pengocokan, pengurutan, dan pengurangan sebagai sub-bagiannya. Menyortir adalah urusan yang mahal. Apa tujuan fase shuffling dan sorting pada reducer di Map Reduce Programming?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Apakah mereka seharusnya setara? tapi, mengapa perintah " hadoop fs" menampilkan hdfs filessementara perintah " hdfs dfs" menampilkan file lokal? berikut adalah informasi versi hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversi git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Disusun oleh jenkins pada Senin 22 April 10:48:26 PDT 2013

109 hadoop  hdfs 

Saya tahu du -shdi filesystem Linux umum. Tetapi bagaimana melakukannya dengan HDFS?

99 hadoop  command-line  directory  hdfs