Pertanyaan yang diberi tag «distributed-computing»

Saya mencoba memahami ZooKeeper, cara kerjanya, dan apa fungsinya. Apakah ada aplikasi yang sebanding dengan ZooKeeper? Jika Anda tahu, lalu bagaimana Anda menggambarkan ZooKeeper sebagai orang awam? Saya sudah mencoba apache wiki, zookeeper sourceforge ... tapi saya masih belum bisa mengaitkannya. Saya baru saja membaca melalui http://zookeeper.sourceforge.net/index.sf.shtml , jadi bukankah …

376 apache-zookeeper  distributed-computing 

Menurut Learning Spark Ingatlah bahwa mempartisi ulang data Anda adalah operasi yang cukup mahal. Spark juga memiliki versi yang repartition()dipanggil coalesce()yang dioptimalkan yang memungkinkan menghindari perpindahan data, tetapi hanya jika Anda mengurangi jumlah partisi RDD. Satu perbedaan yang saya dapatkan adalah bahwa dengan repartition()jumlah partisi dapat ditingkatkan / dikurangi, tetapi …

254 apache-spark  distributed-computing  rdd 

Saya membaca Ikhtisar Mode Cluster dan saya masih tidak dapat memahami proses yang berbeda di cluster Standalone Spark dan paralelisme. Apakah pekerja itu proses JVM atau tidak? Saya menjalankan bin\start-slave.shdan menemukan bahwa itu memunculkan pekerja, yang sebenarnya adalah JVM. Sesuai tautan di atas, pelaksana adalah proses yang diluncurkan untuk aplikasi …

219 apache-spark  distributed-computing 

Dalam hal RDDketekunan, apa perbedaan antara cache()dan persist()dalam percikan?

202 apache-spark  distributed-computing  rdd 

Saya relatif baru di Kafka. Saya telah melakukan sedikit percobaan dengan itu, tetapi beberapa hal tidak jelas bagi saya mengenai penggantian konsumen. Dari apa yang saya pahami sejauh ini, ketika konsumen mulai, offset yang akan mulai dibaca ditentukan oleh pengaturan konfigurasi auto.offset.reset(koreksi saya jika saya salah). Sekarang katakan misalnya ada …

170 java  distributed-computing  apache-kafka 

Jika Anda memiliki satu miliar angka dan seratus komputer, apa cara terbaik untuk menemukan median angka-angka ini? Salah satu solusi yang saya miliki adalah: Pisahkan set secara merata di antara komputer. Sortir mereka. Temukan median untuk setiap set. Sortir set pada median. Gabungkan dua set sekaligus dari median terendah ke …

127 algorithm  distributed-computing