Apa itu Hadoop dan untuk apa itu digunakan? [Tutup]

Saya telah menikmati membaca ServerFault untuk sementara waktu dan saya telah menemukan beberapa topik di Hadoop. Saya mengalami sedikit kesulitan untuk mengetahui apa yang dikerjakannya dari sudut pandang global.

Jadi pertanyaan saya cukup sederhana: Apa itu Hadoop? Apa fungsinya? Untuk apa ini digunakan? Mengapa itu menendang pantat?

Sunting: Jika ada orang yang memiliki demonstrasi / penjelasan kasus penggunaan di mana Hadoop digunakan, itu akan fantastis.

Langsung dari mulut kuda :

Hadoop adalah kerangka kerja untuk menjalankan aplikasi pada kelompok besar yang dibangun dari perangkat keras komoditas. Kerangka kerja Hadoop secara transparan menyediakan aplikasi baik keandalan maupun pergerakan data. Hadoop mengimplementasikan paradigma komputasi bernama Map / Reduce, di mana aplikasi dibagi menjadi banyak fragmen kecil pekerjaan, yang masing-masing dapat dieksekusi atau dieksekusi kembali pada setiap node dalam cluster. Selain itu, ia menyediakan sistem file terdistribusi (HDFS) yang menyimpan data pada node komputasi, menyediakan bandwidth agregat yang sangat tinggi di seluruh cluster. Baik Map / Reduce dan sistem file terdistribusi dirancang sehingga kegagalan node secara otomatis ditangani oleh framework.

Peta / Mengurangi adalah paradigma pemrograman yang dipopulerkan oleh Google di mana dalam tugas dibagi menjadi bagian-bagian kecil dan didistribusikan ke sejumlah besar node untuk diproses (peta), dan hasilnya kemudian dirangkum menjadi jawaban akhir (mengurangi ). Google dan Yahoo menggunakan ini untuk teknologi mesin pencari mereka, antara lain.

Hadoop adalah kerangka kerja umum untuk menerapkan skema pemrosesan semacam ini. Adapun mengapa itu menendang pantat, terutama karena ia menyediakan fitur rapi seperti toleransi kesalahan dan memungkinkan Anda menyatukan hampir semua jenis perangkat keras untuk melakukan pemrosesan. Ini juga berskala sangat baik, asalkan masalah Anda sesuai dengan paradigma.

Anda dapat membaca semua tentang itu di situs web .

Adapun beberapa contoh, Paul memberi beberapa, tapi di sini ada beberapa lagi yang bisa Anda lakukan yang tidak terlalu web-centric:

• Rendering film 3D. Langkah "map" mendistribusikan geometri untuk setiap frame ke node yang berbeda, node me-rendernya, dan frame yang diberikan digabungkan dalam langkah "kurangi".
• Menghitung energi dalam suatu sistem dalam model molekul. Setiap frame dari lintasan sistem didistribusikan ke sebuah simpul dalam langkah "peta". Node menghitung energi untuk setiap frame,
  dan kemudian hasilnya dirangkum dalam langkah "mengurangi".

Pada dasarnya model ini bekerja sangat baik untuk masalah yang dapat dipecah menjadi perhitungan diskrit serupa yang sepenuhnya independen, dan dapat direkombinasi untuk menghasilkan hasil akhir.

Cloudera memiliki beberapa video hebat yang menjelaskan prinsip-prinsip di balik Peta Reduce dan Hadoop.

http://www.cloudera.com/hadoop-training-basic

Salah satu ide inti di balik MapReduce adalah bahwa untuk set data besar Anda akan terikat pada disk Anda, jadi di Hadoop HDFS memberi Anda kemampuan untuk membagi berbagai hal di antara banyak node yang memungkinkan pemrosesan paralel.

Beberapa penggunaan Hadoop yang menarik bagi administrator sistem sering sedang memproses set file log besar - Saya hanya dapat memposting satu tautan tetapi ini termasuk, google harus menemukan ini:

1. Permintaan log mail Rackspace
2. Analisis log Apache dengan babi - lihat blog Cloudera
3. Yahoo! melawan spam

Awalnya hadoop dikembangkan untuk sejumlah besar set data di lingkungan OLAP.

Dengan diperkenalkannya Hbase di atas hadoop, tebu dapat digunakan untuk OLAP Processing juga. Hadoop adalah kerangka kerja dengan semua subkomponen seperti pengurangan peta, HDFS, hbase, babi.

Jika Anda mencari salah satu artikel dengan dasar hadoop di Why Hadoop diperkenalkan .

Di Hadoop, penyimpanan data dalam bentuk file, bukan dalam tabel, kolom.