Dengan Hadoop 2.0 dan BENANG Hadoop seharusnya tidak lagi terikat hanya solusi pengurangan peta. Dengan kemajuan itu, apa kasus penggunaan untuk Apache Spark vs Hadoop mempertimbangkan keduanya duduk di atas HDFS? Saya sudah membaca dokumentasi pendahuluan untuk Spark, tetapi saya ingin tahu apakah ada orang yang menemukan masalah yang lebih efisien dan lebih mudah untuk diselesaikan dengan Spark dibandingkan dengan Hadoop.
Jawaban:
Hadoop berarti HDFS, BENANG, MapReduce, dan banyak hal lainnya. Apakah maksud Anda Spark vs MapReduce ? Karena Spark berjalan pada / dengan Hadoop, yang agak penting.
Alasan utama untuk menggunakan Spark adalah untuk kecepatan, dan ini berasal dari kenyataan bahwa pelaksanaannya dapat menyimpan data dalam memori antara tahap daripada selalu bertahan kembali ke HDFS setelah Peta atau Mengurangi. Keuntungan ini sangat menonjol untuk perhitungan berulang, yang memiliki puluhan tahap yang masing-masing menyentuh data yang sama. Di sinilah segalanya mungkin "100x" lebih cepat. Untuk pekerjaan sederhana, satu-lulus ETL-seperti yang dirancang MapReduce, itu tidak secara umum lebih cepat.
Alasan lain untuk menggunakan Spark adalah bahasa tingkat tinggi yang lebih bagus dibandingkan dengan MapReduce. Ini memberikan tampilan seperti pemrograman fungsional yang meniru Scala, yang jauh lebih bagus daripada menulis kode MapReduce. (Meskipun Anda harus menggunakan Scala, atau mengadopsi Java atau Python API yang kurang berkembang untuk Spark). Crunch dan Cascading sudah menyediakan abstraksi serupa di atas MapReduce, tetapi ini masih merupakan area di mana Spark bagus.
Akhirnya Spark memiliki sub-proyek yang masih muda namun menjanjikan untuk ML, analisis grafik, dan streaming, yang mengekspos API yang koheren dan serupa. Dengan MapReduce, Anda harus beralih ke beberapa proyek lain yang berbeda untuk ini (Mahout, Giraph, Storm). Sangat menyenangkan untuk memilikinya dalam satu paket, meskipun belum 'dipanggang'.
Mengapa Anda tidak menggunakan Spark? parafrase sendiri:
Tidak yakin dengan BENANG, tetapi saya berpikir bahwa Spark membuat perbedaan nyata dibandingkan dengan Hadoop (diiklankan 100 kali lebih cepat) jika data dapat masuk dengan baik dalam memori node komputasi. Hanya karena itu menghindari akses hard disk. Jika data tidak sesuai dengan memori, masih ada keuntungan karena buffering.
Info bagus @Sean Owen. Ingin menambahkan satu tambahan. Spark dapat membantu membangun saluran pipa data terpadu dalam arsitektur Lambda yang menangani lapisan Batch dan Streaming dengan kemampuan untuk menulis ke lapisan penyajian umum. Ini adalah keuntungan besar untuk menggunakan kembali logika antara batch dan Streaming. Algoritma Streaming K-Means juga di Spark1.3 merupakan nilai tambah untuk ML selain dari pemantauan pekerjaan yang sangat baik dan proses visualisasi di 1.4.
Akan adil untuk membandingkan Spark dengan MapReduce - kerangka pemrosesan Hadoop. Dalam sebagian besar kasus, Spark dapat mengungguli MapReduce. Yang pertama memungkinkan pemrosesan data dalam memori, yang memungkinkan untuk memproses data hingga 100 kali lebih cepat. Karena alasan ini, Spark adalah opsi yang disukai jika Anda membutuhkan wawasan dengan cepat, misalnya, jika perlu
Namun, MapReduce pandai memproses kumpulan data yang sangat besar (jika Anda baik-baik saja dengan waktu yang diperlukan untuk pemrosesan). Selain itu, ini solusi yang lebih ekonomis, karena MapReduce membaca dari / menulis ke disk. Dan disk umumnya lebih murah daripada memori.
Pembelajaran mesin adalah contoh yang baik dari jenis masalah di mana solusi berbasis Spark adalah tahun cahaya di depan solusi berbasis mapreduce, meskipun usia muda spark-on-yarn.