Opsi untuk mengakses dan mencadangkan jutaan file dengan cepat
Pinjam dari orang dengan masalah yang sama
Ini terdengar seperti masalah yang lebih mudah yang dihadapi server berita USENET dan caching proxy web: ratusan juta file kecil yang diakses secara acak. Anda mungkin ingin mengambil petunjuk dari mereka (kecuali mereka biasanya tidak harus mengambil cadangan).
http://devel.squid-cache.org/coss/coss-notes.txt
http://citeseer.ist.psu.edu/viewdoc/download;jsessionid=4074B50D266E72C69D6D35FEDCBBA83D?doi=10.1.1.31.4000&rep=rep1&type=pdf
Jelas sifat siklus dari sistem file berita siklik tidak relevan bagi Anda, tetapi konsep tingkat rendah memiliki banyak file / perangkat disk dengan gambar yang dikemas dan indeks cepat dari informasi yang disediakan pengguna untuk mencari informasi lokasi sangat tepat.
Sistem file khusus
Tentu saja, ini hanya konsep yang mirip dengan apa yang orang bicarakan dengan membuat sistem file dalam file dan memasangnya di loopback kecuali Anda bisa menulis kode sistem file Anda sendiri. Tentu saja, karena Anda mengatakan sistem Anda telah dibaca sebagian besar, Anda sebenarnya bisa mendedikasikan partisi disk (atau partisi lvm untuk fleksibilitas dalam ukuran) untuk tujuan yang satu ini. Saat Anda ingin mencadangkan, pasang sistem file read-only dan kemudian buat salinan bit partisi.
LVM
Saya menyebutkan LVM di atas bermanfaat untuk memungkinkan ukuran dinamis suatu partisi sehingga Anda tidak perlu membuat cadangan banyak ruang kosong. Tapi, tentu saja, LVM memiliki fitur lain yang mungkin sangat bisa diterapkan. Khususnya fungsionalitas "snapshot" yang memungkinkan Anda membekukan sistem file pada suatu saat. Kecelakaan rm -rf
apa pun atau apa pun tidak akan mengganggu snapshot. Bergantung pada apa yang Anda coba lakukan, itu mungkin cukup untuk kebutuhan cadangan Anda.
RAID-1
Saya yakin Anda sudah akrab dengan RAID dan mungkin sudah menggunakannya untuk keandalan, tetapi RAID-1 dapat digunakan untuk cadangan juga, setidaknya jika Anda menggunakan perangkat lunak RAID (Anda dapat menggunakannya dengan perangkat keras RAID, tetapi itu sebenarnya memberi Anda keandalan yang lebih rendah karena mungkin memerlukan model / pengontrol revisi yang sama untuk membaca). Konsepnya adalah Anda membuat grup RAID-1 dengan satu disk lebih banyak daripada yang sebenarnya perlu Anda hubungkan untuk kebutuhan keandalan normal Anda (mis. Disk ketiga jika Anda menggunakan perangkat lunak RAID-1 dengan dua disk, atau mungkin disk besar dan perangkat keras- RAID5 dengan disk yang lebih kecil dengan perangkat lunak RAID-1 di atas perangkat keras RAID-5). Ketika tiba saatnya untuk mengambil cadangan, instal disk, minta mdadm untuk menambahkan disk ke grup raid, tunggu sampai menunjukkan kelengkapan, secara opsional minta scrub verifikasi, dan kemudian hapus disk. Tentu saja,