Condor, OGE, dan Torque semua dapat membawa Anda ke sana, tetapi hanya Condor yang memiliki manajemen ketergantungan bawaan dengan alat DAGMan - nya . DAGMan memungkinkan Anda mengatur grafik asiklik langsung yang menggambarkan alur kerja Anda dan manajer menangani perpindahan pekerjaan dalam alur kerja Anda dan mengevaluasi hasil lulus / gagal pada setiap langkah dalam alur. Condor adalah platform agnostik yang relatif, yang berarti DAGMan juga, dan Anda tentu dapat menjalankan satu langkah anak di AIX ketika induknya berjalan di Linux atau Windows. DAGMan tidak peduli dengan di mana pekerjaan dijalankan, hanya bahwa kode keluar lulus atau gagal.
Adakah tip untuk memilih perangkat lunak atau apakah lebih baik menjadi open source atau komersial?
Dengan beberapa peringatan saya pikir komunitas gratis di ruang ini layak untuk dilihat.
OGE berada di ruang yang aneh sekarang. Tidak lagi bebas untuk menjalankan varian GE yang diproduksi Oracle dan Oracle tidak lagi menyumbang kode yang ditulisnya kembali ke GE SCC, tetapi ada beberapa percabangan dari kode yang ada yang mencoba menjadi tentara sebagai proyek sumber terbuka yang gratis. Univa pada khususnya telah memimpin tuntutan , mempekerjakan mantan GE GE devs untuk terus bekerja pada open source, varian GE yang tersedia secara bebas. Grid Engine memiliki dua hal untuk itu: ia mudah diatur, dapat menangani pekerjaan yang berjalan singkat (<2 menit) tanpa memberikan banyak penjadwalan overhead pada pekerjaan yang memperlambat throughput. Kerugian besar adalah tidak ada dukungan yang sangat baik untuk Windows. Beberapa dari kita berupaya untuk porting agar bisa berjalan di Cygwin bertahun-tahun yang lalu, tapi itu pasti tidak sebagus yang asli.
Sekarang Condor adalah favorit saya dari tiga teknologi yang Anda sebutkan. Ada komunitas yang kuat di sekitar Condor dan perangkat lunaknya sangat matang (sekarang> 20 tahun). Dukungan Windows asli dan POSIX OS berarti berjalan di semua tempat dengan sangat baik. DAGMan yang disebutkan di atas hanyalah salah satu dari sekian banyak karya hebat yang datang bersama Condor. Ini bisa menjadi sentuhan yang rumit untuk diatur, tetapi begitu itu dan berjalan itu sangat solid. Ini memiliki bahasa yang sangat fleksibel untuk melakukan pekerjaan <-> pencocokan mesin dan membangun aturan penggunaan Anda untuk sumber daya Anda. Ini juga mendukung penyediaan dinamis pada mesin, membiarkan pekerjaan memilih berapa banyak sumber daya mesin yang mereka butuhkan dan kemudian mengiklankan kembali perbedaan yang masih tersedia. Ini mendukung penghitung sumber daya global sehingga Anda dapat membatasi hal-hal seperti lisensi perangkat lunak. Dan tentu saja, memiliki DAGMan, yang merupakan alat yang sangat kuat untuk manajemen alur kerja. Kelemahan dari Condor adalah penjadwalan overhead untuk pekerjaan jangka pendek bisa memberatkan. Anda menginginkan pekerjaan yang berjalan lebih dari 2 menit idealnya, jika tidak penjadwalan mulai menjadi bagian besar dari waktu pekerjaan dalam sistem.
Torsi sedikit lebih khusus. Aku tahu sedikit tentang itu, aku takut. Ini lebih dibandingkan dengan Grid Engine daripada Condor. Ada add-on berbayar yang disebutkan @warren yang dapat memperluas apa yang dapat dilakukan Torsi dasar, gratis.
Jika Anda ingin mencoba ketiga teknologi dan melihat bagaimana mereka bekerja dengan beban kerja spesifik Anda, CycleCloud dapat mem -spin kolam yang aman, tervirtualisasi, yang telah dikonfigurasikan sebelumnya dengan Condor, GridEngine atau Torque - jadi tidak ada waktu yang dihabiskan untuk mencari tahu hal-hal itu di pihak Anda. Akan butuh beberapa dolar untuk mengumpulkan kumpulan kecil masing-masing teknologi dan mencobanya dengan beban kerja yang representatif. (Penafian: Saya bekerja untuk Cycle Computing, kami membuat CycleCloud)