Sinkronisasi direktori dengan penemuan rekan otomatis

10

Saya bekerja dengan sekelompok server Linux yang duduk di belakang fitur cloud cloud autoscaling ( dokumentasi ). Ada file yang menumpuk di setiap server, mereka adalah file cache untuk aplikasi. Saya mencari cara otomatis agar server menyinkronkan folder itu di antara mereka sendiri.

Rsync akan bekerja jika seseorang memiliki cara pintar untuk melakukan deteksi rekan.
Sama berlaku untuk Unison.
Kami juga telah mempertimbangkan untuk menggunakan SaaS seperti Dropbox.
Gluster sepertinya berlebihan, dan saya tidak yakin betapa mudahnya memiliki komputer baru bergabung secara otomatis dengan cluster.

Idealnya, apa yang akan terjadi adalah ketika server baru diluncurkan, ia menemukan rekan-rekannya dan mulai menyinkronkan folder. Sejak saat itu, itu adalah filestamp terbaru yang memenangkan sinkronisasi P2P.

Adakah yang melakukannya di luar sana?

linux rsync cluster

— Caleb
sumber

Yang ini tidak melakukan deteksi rekan, tetapi mungkin menarik terlepas dari - mrsync.sourceforge.net .

— Faheem Mitha

1

Anda tahu seaneh kedengarannya tetapi menggunakan rtorrent dengan DHT diaktifkan pada rentang ec2 pribadi bisa bekerja

Ini akan memberimu

Penemuan rekan otomatis
Status file terverifikasi (yay untuk hash)
Persyaratan konfigurasi minimal (tambahkan magnet (atau virtual ip untuk torrent terbaru) untuk torrent dalam skrip start up)
skalabilitas

— Tacticus
sumber

1

Rsync hulu menyediakan dukungan untuk SLP (Layanan lokasi protokol). Itu tidak diaktifkan di sumber vanilla rsync, tetapi Anda dapat menemukan dukungan SLP di tarball rsync-patch di beranda rsync (slp.diff). Misalnya paket SUSE rsync dibuat dengan tambalan ini; Saya tidak tahu tentang distribusi lain.

Saya tidak yakin ini yang Anda cari atau saya tidak punya pengalaman dengan SLP.

— Petr Uzel
sumber

0

Mungkin saya kehilangan sesuatu di sini, tetapi apakah ada alasan Anda tidak hanya memasang direktori NFS sederhana dan hanya memasang semua mesin itu? Setiap kali aplikasi menulis file cache yang baru itu hanya akan menimpa yang lama.

— opsguy
sumber

1

Hai opsguy. Apa yang Anda lewatkan adalah apa yang terjadi ketika mesin dengan NFS gagal? Kami mencoba menghilangkan satu titik kegagalan untuk cache.

0

Saya cukup yakin ada beberapa alat manajemen Amazon, seperti Command Line Tools , yang memungkinkan Anda untuk menulis skrip boot untuk membuat node menemukan satu sama lain, melalui alamat IP pribadi atau publik.

Omong-omong, rsync dan Unison bukan alat yang tepat, jika mereka harus sering mendistribusikan perubahan ke cache. Dalam hal ini Anda harus mempertimbangkan beberapa sistem file yang benar-benar terdistribusi.

— Marco Solieri
sumber

0

Mungkin DRBD (perangkat blok terdistribusi)?

— MSpike
sumber

1

Terima kasih atas jawaban Anda, tetapi tidak memiliki substansi. DRBD tidak begitu terkenal sehingga tidak memerlukan setidaknya tautan. Tapi sungguh, Anda harus memberikan informasi lebih lanjut: mengapa DRBD cocok? Bagaimana cara kerjanya? Terutama mengingat bahwa Kevin berpikir Gluster berlebihan: mengapa DRBD tidak?

— Gilles 'SO- berhenti bersikap jahat'

Saya baru sadar bahwa Anda mencari penemuan rekan otomatis, jadi ini tidak cocok untuk Anda. DRBD adalah perangkat blokir di perangkat keras Anda yang sebenarnya atau di bagian atas volume tertentu, dan selain itu menyinkronkannya melalui jaringan.

— MSpike