rekomendasi untuk solusi backup jarak jauh yang efisien di luar vm

Saya mencari rekomendasi untuk mencadangkan 6 vm saya saat ini (dan segera tumbuh hingga 20). Saat ini saya menjalankan dua simpul proxmox cluster (yang merupakan basis debian menggunakan kvm untuk virtualisasi dengan web front end kustom untuk mengelola). Saya memiliki dua kotak yang hampir identik dengan motherboard amd phenom II x4 dan asus. Masing-masing memiliki 4 500 GB sata2 hdd, 1 untuk os dan data lainnya untuk instalasi proxmox, dan 3 menggunakan mdadm + drbd + lvm untuk berbagi penyimpanan 1,5 TB antara kedua mesin. Saya memasang gambar lvm ke kvm untuk semua mesin virtual. Saat ini saya memiliki kemampuan untuk melakukan transfer langsung dari satu mesin ke mesin lain, biasanya dalam hitungan detik (dibutuhkan sekitar 2 menit pada vm terbesar yang menjalankan win2008 dengan server m $ sql). Saya menggunakan utilitas vzdump bawaan proxmox untuk mengambil snapshot dari vm ' dan simpan di hard drive eksternal di jaringan. Saya kemudian memiliki layanan jungledisk (menggunakan rackspace) untuk menyinkronkan folder vzdump untuk backup offsite jarak jauh.

Ini semua bagus dan keren, tetapi tidak terlalu scalable. Untuk satu, cadangan sendiri bisa memakan waktu hingga beberapa jam setiap malam. Dengan transfer inkremental tingkat blok jungledisk, sinkronisasi hanya mentransfer sebagian kecil dari data di luar lokasi, tetapi itu masih membutuhkan setidaknya setengah jam.

Solusi yang jauh lebih baik tentu saja akan menjadi sesuatu yang memungkinkan saya untuk secara instan mengambil perbedaan dari dua titik waktu (katakan apa yang ditulis dari jam 6 pagi sampai 7 pagi), masukkan zip itu, lalu kirim file perbedaan itu ke server cadangan yang akan langsung ditransfer ke penyimpanan jarak jauh di rackspace. Saya telah melihat sedikit ke zfs dan kemampuannya untuk mengirim / menerima. Itu ditambah dengan pipa data di bzip atau sesuatu akan tampak sempurna. Namun, tampaknya mengimplementasikan server nexenta dengan zfs pada dasarnya akan memerlukan setidaknya satu atau dua server penyimpanan khusus untuk melayani volume blok iSCSI (via zvol's ???) ke server proxmox. Saya lebih suka untuk menjaga pengaturan seminimal mungkin (yaitu TIDAK memiliki server penyimpanan terpisah) jika memungkinkan.

Saya juga sempat membaca tentang zumastor. Sepertinya bisa juga melakukan apa yang saya inginkan, tetapi tampaknya telah menghentikan pengembangan pada tahun 2008.

Jadi, zfs, zumastor atau lainnya?

Ini mungkin tidak mungkin dalam situasi Anda, jadi saya harap saya tidak mendapatkan suara dalam kasus itu, tetapi mungkin lebih efisien untuk mengubah strategi cadangan Anda. Jika Anda mencadangkan data tertentu dan bukan snapshot VM, cadangan Anda akan berjalan lebih cepat, dan akan lebih mudah untuk menangkap perubahan.

Bergantung pada VM Anda dan untuk apa mereka digunakan, Anda bisa membuatnya cadangan data ke tempat Anda menyimpan foto sekarang setiap hari (atau jadwal apa pun yang sesuai), dan kemudian JungleDisk dapat mencadangkan hanya data. Itu akan lebih efisien mentransfer file yang diubah, dan ruang yang diperlukan untuk cadangan serta waktu yang dibutuhkan akan berkurang. Selain itu, Anda masih bisa mengambil snapshot untuk mempertahankan, dan cukup sering melakukannya (mingguan, misalnya).

Dalam hal ini, Anda selalu bisa memunculkan VM baru dan mengembalikan data, atau menggunakan snapshot yang lebih lama untuk memulihkan VM, dan kemudian menggunakan cadangan data untuk mengembalikan ke titik paling baru.

Jika saya melakukan backup di luar kantor saya akan memilih opsi berikut:

(a) skrip shell yang menyalin SCP ke server jauh, Dengan cara ini Anda dapat menambahkan tugas cron yang secara otomatis menjalankan skrip yang membuat cadangan. Selain itu Anda dapat membuatnya sehingga membuat file arsip sementara sebelum benar-benar mentransfer file sehingga menghemat bandwidth dengan tidak mentransfer saat masih melakukan gziping.

atau

(B) Instal alat manajemen server seperti Webmin dan mendapatkannya untuk melakukan backup otomatis. Saat ini saya menyanyikan ini di server produksi saya sekarang tanpa masalah, Itu hanya bekerja dengan sempurna. Saya juga merekomendasikan cloudmin (berbayar) untuk mengelola banyak vm karena menyediakan solusi menyeluruh.

beberapa tautan tambahan:

http://www.debianhelp.co.uk/backup.htm

http://ubuntuforums.org/showthread.php?t=35087

Semoga itu bisa membantu, RayQuang

Anda mungkin ingin melihat ke backuppc.

backuppc dapat bekerja di atas rsync yang melakukan copy tambahan.

lebih jauh lagi Anda dapat dengan mudah menulis daftar folder hitam yang tidak harus di-backup. Misalnya: temp / / tmp .garbages / ...

http://backuppc.sourceforge.net/

backuppc memiliki antarmuka web yang bersih yang memungkinkan Anda untuk mengunduh beberapa bagian cadangan secara langsung sebagai file zip. Itu dapat dipantau oleh nagios menggunakan check_backuppc.

Saya tidak yakin, berapa banyak perubahan arsitektur yang Anda rencanakan untuk meningkatkan skalabilitas Anda. Namun, jika Anda akan terbuka untuk beralih platform VM Anda bisa melihat VMWare.

Ada banyak solusi cadangan VMWare yang baik, saya pribadi menggunakan VzionCore. Anda kemudian dapat melakukan beberapa hal yang licin dengan snapshot dan menunjukkan pemulihan waktu. Bahkan ada kemampuan untuk gagal ke situs jarak jauh.

zfs sangat bagus, Anda telah menyebutkan mengetahui bahwa meskipun dan kelemahan dari tidak bekerja dengan baik pada skala 2 server. Ini juga tidak akan memberi Anda DRDB failover, yaitu Nexenta akan menjadi satu titik kegagalan.

Anda dapat mempertimbangkan untuk mencoba mendapatkan VirtualBox di OpenSolaris atau NexentaCore tetapi tidak sesederhana ProxMox + DRDB sehingga Anda dapat menggunakan kembali mesin yang ada.

Jika Anda mengukur perubahan Anda dan menemukannya cukup rendah, Anda bisa mencoba DRDB dengan mirror offsite ke-3 - Ini hanya akan berfungsi jika jumlah penulisan sangat rendah pada VM Anda.

Steve Radich - Windows Hosting & Kinerja SQL Sejak 1995 - http://www.BitShop.com/Blogs.aspx

Saya menjalankan proxmox cluster besar dan harus menyarankan Anda mengubah strategi cadangan Anda jauh dari built-in vzdump snapshot style backup, yang memakan waktu lama, karena itu selalu penuh dalam ukuran besar dan membuat pengembalian file individual sangat panjang lebar.

Pertimbangkan solusi cadangan file 'in guest' yang ada banyak. Backuppc, Urbackup, bacula, amanda dll ...

Ini akan jauh lebih cepat, mengkonsumsi ruang jauh lebih sedikit dan lebih mudah untuk mengembalikan file tertentu.

Saya pikir saya mungkin telah menemukan jawaban akhir untuk pertanyaan saya:

BUP https://github.com/bup/bup

Fitur:

• Ini menggunakan algoritma checksum bergulir (mirip dengan rsync) untuk membagi file besar menjadi potongan. Hasil yang paling berguna dari ini adalah Anda dapat membuat cadangan disk image, database, dan file XML mesin virtual besar (VM) secara bertahap, meskipun mereka semua dalam satu file besar, dan tidak menggunakan banyak ruang disk untuk beberapa versi.

  Ia menggunakan format packfile dari git (sistem kontrol versi open source), sehingga Anda dapat mengakses data yang disimpan bahkan jika Anda tidak menyukai antarmuka pengguna bup.

  Tidak seperti git, ia menulis packfile secara langsung (bukannya memiliki tahap pengumpulan / pengemasan sampah terpisah) sehingga cepat bahkan dengan jumlah data yang sangat besar. format indeks bup yang ditingkatkan juga memungkinkan Anda melacak jauh lebih banyak nama file daripada git (jutaan) dan melacak lebih banyak objek (ratusan atau ribuan gigabyte).

  Data "otomatis" dibagi antara cadangan tambahan tanpa harus tahu cadangan mana yang didasarkan pada yang lain - bahkan jika cadangan dibuat dari dua komputer berbeda yang bahkan tidak saling mengenal. Anda hanya memberitahu bup untuk membuat cadangan, dan itu hanya menghemat jumlah minimum data yang diperlukan.

  Anda dapat mencadangkan langsung ke server bup jarak jauh, tanpa perlu banyak ruang disk sementara pada komputer yang didukung. Dan jika cadangan Anda terputus di tengah jalan, proses selanjutnya akan mengambil tempat Anda tinggalkan. Dan mudah untuk membuat server bup: cukup instal bup di mesin mana pun di mana Anda memiliki akses ssh.

  Bup dapat menggunakan redundansi "par2" untuk memulihkan cadangan yang rusak bahkan jika disk Anda memiliki sektor buruk yang tidak terdeteksi.

  Bahkan ketika cadangan bersifat inkremental, Anda tidak perlu khawatir tentang memulihkan cadangan penuh, lalu masing-masing tambahan secara bertahap; cadangan tambahan bertindak seolah-olah itu adalah cadangan penuh, hanya membutuhkan sedikit ruang disk.

  Anda dapat memasang repositori bup Anda sebagai sistem file FUSE dan mengakses konten seperti itu, dan bahkan mengekspornya melalui Samba.

Sunting: (19 Ags 2015) Dan solusi hebat lainnya keluar yang bahkan lebih baik: https://github.com/datto/dattobd

Hal ini memungkinkan snapshotting langsung, pada dasarnya memberikan fitur seperti SAP untuk sistem file lama biasa di Linux.

Sunting: (15 Jul 2016) Dan bahkan solusi hebat lain yang menghempaskan bup keluar dari air: https://github.com/borgbackup/borg

Ini terutama lebih baik daripada bup di pemangkasan. Tampaknya memiliki dukungan besar untuk kompresi, enkripsi, dan deduplikasi yang efisien. dattobd + borg ftw !!!