Apakah kerangka kerja MapReduce sejenis BSP?

11

Apakah akurat untuk menyebut kerangka mapReduce jenis kerangka kerja pemrograman paralel paralel massal tanpa retensi memori lokal di dalam prosesor di antara sinkronisasi? Jika tidak, model pemrograman paralel apa yang paling akurat merangkum kerangka mapReduce?

dc.parallel-comp machine-models

— Jeff Kubina
sumber

1

itu pertanyaan yang bagus!

— Suresh Venkat

terima kasih Suresh, bagaimana menurutmu, setuju?

— Jeff Kubina

pilihan sulit dalam memilih jawaban terbaik karena saya pikir mereka semua membantu saya mendapatkan lebih banyak pengetahuan tentang pengurangan peta dan bagaimana orang lain melihatnya. Saya memilih jawaban Sasho karena itu mengarahkan saya ke sebuah makalah yang menjawab pertanyaan saya yang terbaik. terimakasih semuanya.

— Jeff Kubina

11

Pada bagian 2 dari http://arxiv.org/abs/1101.1902 , penulis mendefinisikan model MapReduce yang sengaja disusun seperti BSP. Mereka membuktikan teorema simulasi juga. Mungkin tempat yang bagus untuk memulai.

— Sasho Nikolov
sumber

5

Ya, pendapat saya adalah bahwa MapReduce klasik adalah model BSP (dan karena itu memiliki keterbatasan yang melekat pada kinerja paralel maksimum yang mungkin dapat dicapai). Namun, pekerjaan yang lebih baru pada MapReduce tampaknya difokuskan pada gagasan sinkronisasi yang lebih longgar, yang akan mengeluarkan "MapReduce umum" dari kerangka BSP yang ketat. Secara khusus, jika seseorang mereplikasi beberapa data maka struktur sinkronisasi dapat dilonggarkan, menghasilkan keuntungan kinerja.

Lihat misalnya karya oleh Foto Afrati dan Jeff Ullman: Mengoptimalkan penggabungan dalam lingkungan pengurangan peta , EDBT 2010. ( pracetak )

— András Salamon
sumber

2

Karena di MapReduce ada grafik sederhana dan terstruktur yang mendasari perhitungan, ini dapat IMHO diklasifikasikan sebagai model aliran data.

— Massimo Cafaro
sumber

Saya setuju, MapReduce memiliki strategi perhitungan yang sama seperti mesin tagged-dataflow. Bahasa Babi Yahoo bahkan membuat bahasa aliran data di atas MapReduce.

— Daging sapi