Beberapa server bertindak seperti satu dengan semua perangkat keras? [Tutup]

sekarang saya memiliki 10 server untuk HPC, berorientasi komputasi daya. Pengguna saya perlu meluncurkan beberapa proses menggunakan qmake. Para pengguna terbiasa bekerja dengan ubuntu 9.10, dan perangkat lunak dari repositori dapat ditukar untuk mereka.

Saya telah menggunakan ubuntu 9.10 untuk semua 10 server (pxe rocks).

Sekarang kami bekerja dengan paralel-ssh dan cluster-ssh, yang memungkinkan untuk meluncurkan proses yang sama ke semua server. Dengan alat ini alat ini server tetap independen tetapi dengan perangkat lunak yang sama dan perintah yang diluncurkan sama.

Sekarang kami ingin pergi ke langkah berikutnya dan melihat semua server sebagai satu dengan semua sumber daya dari yang lain seolah-olah sumber dayanya.

Perbedaannya akan sangat besar dalam waktu untuk memproses dan juga waktu untuk merancang perintah untuk diluncurkan.

Adakah saran untuk menggunakan perangkat lunak yang akan sangat berguna?

Terima kasih

Apa yang Anda bicarakan disebut Single System Image (SSI) . Varian yang paling umum dari skema ini untuk Linux diimplementasikan oleh MOSIX . Sementara itu memang memberikan beberapa keuntungan dalam hal manajemen sistem, dalam proses umum tidak dapat menjangkau beberapa node tanpa menggunakan beberapa bentuk MPI . Pada dasarnya apakah Anda menggunakan kluster "standar" yang berjalan di gridengine atau Anda membentuk sistem Anda menjadi satu gambar, Anda masih perlu memodifikasi semua perangkat lunak untuk dapat menjangkau beberapa node.

Cluster bukan mesin tunggal untuk kinerja, fs / memori lokalitas penting untuk kinerja.

Melakukan hal-hal di tingkat aplikasi, sementara kurang umum, lebih hemat sumber daya. Contoh qmake Anda dapat dipercepat secara signifikan dengan mengatur distcc.

pada akhirnya saya menggunakan Sun Grid Engine.

Saya telah mendokumentasikan dalam wiki pribadi, dan memotong dan menempel di blog saya. Saya pikir ini bisa berguna bahkan tanpa terjemahan. ;)

Entri Blog: http://suportrecerca.barcelonamedia.org/blog/?p=240

Jika seseorang menginginkan kode wiki, tanyakan di sini.

Terima kasih.

Saya belum pernah menerapkannya sebelumnya, tapi sepertinya kluster beowulf akan bekerja untuk apa yang Anda coba lakukan. Saya telah melakukan banyak membaca tentang ini di masa lalu dan untuk beberapa proses yang lebih sederhana akan ada sedikit pengodean ulang tergantung pada apa yang Anda coba capai.