Pertanyaan yang diberi tag «hadoop»

Saat ini saya mengonfigurasi hadoop pada server yang menjalankan CentOs . Ketika saya menjalankan start-dfs.shatau stop-dfs.sh, saya mendapatkan kesalahan berikut: PERINGATAN util.NativeCodeLoader: Tidak dapat memuat pustaka-hadoop asli untuk platform Anda ... menggunakan kelas builtin-java di mana berlaku Saya menjalankan Hadoop 2.2.0. Melakukan pencarian online memunculkan tautan ini: http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html Namun, isi …

269 java  linux  hadoop  hadoop2  java.library.path 

Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 4 tahun yang lalu . Perbaiki pertanyaan ini Latar belakang saya - berusia 4 minggu di dunia Hadoop. …

256 hadoop  hive  apache-pig 

Saya mencoba memahami hubungan jumlah core dan jumlah eksekutor ketika menjalankan pekerjaan Spark di BENANG. Lingkungan pengujian adalah sebagai berikut: Jumlah node data: 3 Spesifikasi mesin simpul data: CPU: Core i7-4790 (# core: 4, # utas: 8) RAM: 32GB (8GB x 4) HDD: 8TB (2TB x 4) Jaringan: 1Gb Versi …

193 hadoop  apache-spark  yarn 

Apa manfaat menggunakan Hadoop atau HBase atau Hive ? Dari pemahaman saya, HBase menghindari penggunaan pengurangan peta dan memiliki penyimpanan berorientasi kolom di atas HDFS. Hive adalah antarmuka mirip sql untuk Hadoop dan HBase . Saya juga ingin tahu bagaimana Hive dibandingkan dengan Babi .

185 hadoop  hbase  hive  apache-pig 

Saya ingin membaca CSV dalam percikan dan mengubahnya sebagai DataFrame dan menyimpannya dalam HDFS dengan df.registerTempTable("table_name") Saya telah mencoba: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Kesalahan yang saya dapatkan: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] …

147 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Saya menginstal Spark menggunakan panduan AWS EC2 dan saya dapat meluncurkan program dengan baik menggunakan bin/pysparkscript untuk sampai ke percikan percikan dan juga dapat melakukan Quick Start quide berhasil. Namun, saya tidak bisa selama hidup saya mencari cara untuk menghentikan semua INFOlogging verbose setelah setiap perintah. Saya telah mencoba hampir …

144 python  scala  apache-spark  hadoop  pyspark 

Karakteristik Apache Parket adalah: Menggambarkan sendiri Format kolom Tidak tergantung bahasa Dibandingkan dengan Avro, Sequence Files, RC File dll. Saya ingin ikhtisar dari format. Saya sudah membaca: Bagaimana Impala Bekerja dengan Format File Hadoop , ini memberikan beberapa wawasan tentang format tetapi saya ingin tahu bagaimana akses ke data & …

136 file  hadoop  hdfs  avro  parquet 

Cara menyalin file dari HDFS ke sistem file lokal. Tidak ada lokasi fisik file di bawah file, bahkan direktori. bagaimana saya bisa memindahkan mereka ke lokal saya untuk validasi lebih lanjut. Saya dicoba melalui wincp.

135 hadoop  copy  hdfs 

Ini semacam pertanyaan yang naif tapi saya baru dengan paradigma NoSQL dan tidak tahu banyak tentang itu. Jadi jika seseorang dapat membantu saya dengan jelas memahami perbedaan antara HBase dan Hadoop atau jika memberikan beberapa petunjuk yang dapat membantu saya memahami perbedaannya. Sampai sekarang, saya melakukan riset dan akses. untuk …

130 hadoop  nosql  hbase  hdfs  difference 

Saya tahu keduanya dilakukan pada kolom di tabel tetapi bagaimana setiap operasi berbeda.

129 hadoop  hive 

Dalam banyak situasi kehidupan nyata di mana Anda menerapkan MapReduce, algoritme akhir menjadi beberapa langkah MapReduce. yaitu Map1, Reduce1, Map2, Reduce2, dan seterusnya. Jadi Anda memiliki keluaran dari pengurangan terakhir yang diperlukan sebagai masukan untuk peta berikutnya. Data perantara adalah sesuatu yang (secara umum) tidak ingin Anda simpan setelah pipeline …

124 hadoop  mapreduce 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. tidak dapat membuat apa pun di hdfs aku melakukannya root# bin/hadoop fs -safemode leave Tapi menunjukkan safemode: Unknown command Apa masalahnya? Larutan

122 hadoop  hdfs 

Menurut Hadoop - The Definitive Guide Catatan logis yang didefinisikan FileInputFormats biasanya tidak cocok dengan baik ke dalam blok HDFS. Misalnya, catatan logis TextInputFormat adalah garis, yang akan melewati batas HDFS lebih sering daripada tidak. Ini tidak ada hubungannya dengan fungsi program Anda — garis tidak terlewat atau putus, misalnya …

119 hadoop  split  mapreduce  block  hdfs 

Dalam pemrograman Map Reduce, fase reduce memiliki pengocokan, pengurutan, dan pengurangan sebagai sub-bagiannya. Menyortir adalah urusan yang mahal. Apa tujuan fase shuffling dan sorting pada reducer di Map Reduce Programming?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Adakah yang bisa memberi tahu saya perbedaan antara tabel eksternal Hive dan tabel internal. Saya tahu perbedaannya muncul saat menjatuhkan meja. Saya tidak mengerti apa yang Anda maksud dengan data dan metadata dihapus di internal dan hanya metadata yang dihapus di tabel eksternal. Adakah yang bisa menjelaskan saya dalam hal …

110 hadoop  hive  hiveql