Pertanyaan yang diberi tag «hadoop»

Hadoop adalah proyek sumber terbuka Apache yang menyediakan perangkat lunak untuk komputasi terdistribusi yang andal dan dapat diskalakan. Inti terdiri dari sistem file terdistribusi (HDFS) dan pengelola sumber daya (YARN). Berbagai proyek sumber terbuka lainnya, seperti Apache Hive menggunakan Apache Hadoop sebagai lapisan persistensi.

21
Peringatan Hadoop "Tidak dapat memuat pustaka hadoop asli untuk platform Anda"
Saat ini saya mengonfigurasi hadoop pada server yang menjalankan CentOs . Ketika saya menjalankan start-dfs.shatau stop-dfs.sh, saya mendapatkan kesalahan berikut: PERINGATAN util.NativeCodeLoader: Tidak dapat memuat pustaka-hadoop asli untuk platform Anda ... menggunakan kelas builtin-java di mana berlaku Saya menjalankan Hadoop 2.2.0. Melakukan pencarian online memunculkan tautan ini: http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html Namun, isi …

19
Perbedaan antara Babi dan Sarang? Mengapa keduanya? [Tutup]
Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 4 tahun yang lalu . Perbaiki pertanyaan ini Latar belakang saya - berusia 4 minggu di dunia Hadoop. …
256 hadoop  hive  apache-pig 

8
Apache Spark: Jumlah inti vs jumlah pelaksana
Saya mencoba memahami hubungan jumlah core dan jumlah eksekutor ketika menjalankan pekerjaan Spark di BENANG. Lingkungan pengujian adalah sebagai berikut: Jumlah node data: 3 Spesifikasi mesin simpul data: CPU: Core i7-4790 (# core: 4, # utas: 8) RAM: 32GB (8GB x 4) HDD: 8TB (2TB x 4) Jaringan: 1Gb Versi …

16
Kapan harus menggunakan Hadoop, HBase, Hive, dan Pig?
Apa manfaat menggunakan Hadoop atau HBase atau Hive ? Dari pemahaman saya, HBase menghindari penggunaan pengurangan peta dan memiliki penyimpanan berorientasi kolom di atas HDFS. Hive adalah antarmuka mirip sql untuk Hadoop dan HBase . Saya juga ingin tahu bagaimana Hive dibandingkan dengan Babi .
185 hadoop  hbase  hive  apache-pig 

14
Spark - memuat file CSV sebagai DataFrame?
Saya ingin membaca CSV dalam percikan dan mengubahnya sebagai DataFrame dan menyimpannya dalam HDFS dengan df.registerTempTable("table_name") Saya telah mencoba: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Kesalahan yang saya dapatkan: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] …

15
Bagaimana cara mematikan info INFO di Spark?
Saya menginstal Spark menggunakan panduan AWS EC2 dan saya dapat meluncurkan program dengan baik menggunakan bin/pysparkscript untuk sampai ke percikan percikan dan juga dapat melakukan Quick Start quide berhasil. Namun, saya tidak bisa selama hidup saya mencari cara untuk menghentikan semua INFOlogging verbose setelah setiap perintah. Saya telah mencoba hampir …

3
Apa pro dan kontra dari format parket dibandingkan dengan format lain?
Karakteristik Apache Parket adalah: Menggambarkan sendiri Format kolom Tidak tergantung bahasa Dibandingkan dengan Avro, Sequence Files, RC File dll. Saya ingin ikhtisar dari format. Saya sudah membaca: Bagaimana Impala Bekerja dengan Format File Hadoop , ini memberikan beberapa wawasan tentang format tetapi saya ingin tahu bagaimana akses ke data & …
136 file  hadoop  hdfs  avro  parquet 


6
Perbedaan antara HBase dan Hadoop / HDFS
Ini semacam pertanyaan yang naif tapi saya baru dengan paradigma NoSQL dan tidak tahu banyak tentang itu. Jadi jika seseorang dapat membantu saya dengan jelas memahami perbedaan antara HBase dan Hadoop atau jika memberikan beberapa petunjuk yang dapat membantu saya memahami perbedaannya. Sampai sekarang, saya melakukan riset dan akses. untuk …
130 hadoop  nosql  hbase  hdfs  difference 


13
Merangkai beberapa pekerjaan MapReduce di Hadoop
Dalam banyak situasi kehidupan nyata di mana Anda menerapkan MapReduce, algoritme akhir menjadi beberapa langkah MapReduce. yaitu Map1, Reduce1, Map2, Reduce2, dan seterusnya. Jadi Anda memiliki keluaran dari pengurangan terakhir yang diperlukan sebagai masukan untuk peta berikutnya. Data perantara adalah sesuatu yang (secara umum) tidak ingin Anda simpan setelah pipeline …
124 hadoop  mapreduce 

9
Node nama dalam mode aman. Tidak bisa pergi
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. tidak dapat membuat apa pun di hdfs aku melakukannya root# bin/hadoop fs -safemode leave Tapi menunjukkan safemode: Unknown command Apa masalahnya? Larutan
122 hadoop  hdfs 

6
Bagaimana catatan proses Hadoop dipisahkan melintasi batas blok?
Menurut Hadoop - The Definitive Guide Catatan logis yang didefinisikan FileInputFormats biasanya tidak cocok dengan baik ke dalam blok HDFS. Misalnya, catatan logis TextInputFormat adalah garis, yang akan melewati batas HDFS lebih sering daripada tidak. Ini tidak ada hubungannya dengan fungsi program Anda — garis tidak terlewat atau putus, misalnya …
119 hadoop  split  mapreduce  block  hdfs 


18
Perbedaan antara tabel internal Hive dan tabel eksternal?
Adakah yang bisa memberi tahu saya perbedaan antara tabel eksternal Hive dan tabel internal. Saya tahu perbedaannya muncul saat menjatuhkan meja. Saya tidak mengerti apa yang Anda maksud dengan data dan metadata dihapus di internal dan hanya metadata yang dihapus di tabel eksternal. Adakah yang bisa menjelaskan saya dalam hal …
110 hadoop  hive  hiveql 

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.