Sistem file rock-stable untuk file besar (cadangan) untuk linux

Sistem file apa yang terbaik untuk backup? Saya tertarik pada stabilitas (terutama file yang tidak korup selama hard reboot dll), tetapi seberapa efisien menangani file besar (> 5GB) juga penting.

Juga, parameter pemasangan apa yang harus saya gunakan?

Kernel adalah Linux> = 2.6.34.

EDIT: Saya tidak ingin metode cadangan. Saya membutuhkan sistem file untuk menyimpannya.

Anda dapat menggunakan ext4 tetapi saya akan merekomendasikan pemasangan dengan journal_datamode yang akan mematikan dealloc (alokasi tertunda) yang 'menyebabkan beberapa masalah sebelumnya. Menonaktifkan dealloc akan membuat data baru menulis lebih lambat, tetapi membuat penulisan jika terjadi kegagalan daya lebih kecil kemungkinannya mengalami kerugian. Saya juga harus menyebutkan bahwa Anda dapat menonaktifkan dealloc tanpa menggunakan journal_datayang memiliki beberapa manfaat lain (atau setidaknya itu ada di ext3), seperti bacaan yang sedikit ditingkatkan, dan saya percaya pemulihan yang lebih baik.

Perluasan masih akan membantu dengan fragmentasi. Perluasan membuat penghapusan file besar lebih cepat daripada ext3, penghapusan data ukuran apa pun (file tunggal) harus mendekati instan pada ext4 tetapi bisa memakan waktu lama pada ext3. (FS berdasarkan apa pun memiliki keunggulan ini)

ext4 juga fscklebih cepat dari ext3.

Satu catatan terakhir, ada perbaikan bug di ext4 hingga menyukai 2.6.31? Saya pada dasarnya akan memastikan Anda tidak menjalankan kernel pra 2.6.32 yang merupakan kernel LTS.

XFS sangat solid dan telah ada di kernel sejak lama. Periksa alat seperti xfs_freeze dan lihat apakah itu yang Anda cari. Saya tahu ini sangat subyektif tetapi saya telah menggunakan XFS untuk penyimpanan data selama bertahun-tahun tanpa insiden.

Cukup gunakan alat cadangan yang mendukung checksum. Misalnya Dar , dan mendukung cadangan tambahan. Kemudian Anda dapat membuat cadangan ke sistem file rock solid seperti ext3.

Untuk cadangan Anda menginginkan sesuatu yang solid / sangat stabil. Dan btrfs atau ZFS sama sekali tidak siap hari ini.

btrfs memiliki data transparan yang ditulis ke disk dan mode tulis-tulis cepat yang selalu aktif (dan banyak fitur ramah-cadangan lainnya) yang membuatnya menarik untuk dicadangkan. Lihat https://btrfs.wiki.kernel.org/index.php/Main_Page untuk lebih jelasnya.

Aspek imho yang sangat penting yang belum saya lihat dibahas dalam jawaban lain adalah fitur stabilitas tata letak disk pada sistem berkas (mis. Pertimbangkan membaca dokumentasi kemungkinan kandidat ext4 , btrfs )

Sementara basis kode dan jumlah pengujian driver sistem file basis kode, memang penting seperti jawaban lain yang ditunjukkan alrady, karena itu adalah perlindungan data selama membaca dan menulis , tata letak / format disk adalah perlindungan terhadap risiko terhadap data Anda. saat istirahat, yang merupakan bentuk cacat perangkat keras seperti sektor yang tidak dapat dibaca, atau busuk bit diam .

Sehubungan dengan ext4, yang dikatakan memiliki karakteristik yang baik sehubungan dengan basis kode yang telah lama diuji ( https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0. pdf menunjukkan butuh waktu lebih lama untuk menemukan bug di dalamnya daripada misalnya di yang lebih modern dan lebih kompleks btrfs), saya telah melihat resistensi ext4 saat istirahat dan menemukan beberapa kekurangan imho, dari sistem file lain yang dipuji.

Saya akan menganggapnya bijaksana (jika dipilih ext4sebagai " fs cadangan rock-solid ") untuk meningkatkan pemulihan (meskipun "pengerasan itu") dengan menggunakan e2imagealat pengembang ext4menyediakan

Program e2image akan menyimpan metadata filesystem ext2, ext3, atau ext4 yang penting yang terletak di perangkat ke file yang ditentukan oleh file-file. File gambar dapat diperiksa oleh dumpe2fs dan debugfs, dengan menggunakan opsi -i untuk program-program tersebut. Ini dapat membantu seorang ahli dalam memulihkan filesystem yang rusak sangat besar. Di masa depan, e2fsck akan ditingkatkan untuk dapat menggunakan file gambar untuk membantu memulihkan sistem file yang rusak parah.

dan merekomendasikan .

Ini adalah ide yang sangat bagus untuk membuat file gambar untuk semua sistem file pada suatu sistem dan menyimpan tata letak partisi (yang dapat dihasilkan menggunakan perintah fdisk -l) secara berkala --- pada saat boot, dan / atau setiap minggu atau begitu. File gambar harus disimpan pada beberapa sistem file selain dari sistem file yang datanya berisi, untuk memastikan bahwa data ini dapat diakses dalam kasus di mana sistem file telah rusak parah.

Mempertimbangkan bahwa bahkan tidak semua meta-data ext4 pada tata letak disk disediakan dengan redundansi (mis. Superblock disimpan berulang kali beberapa kali sebagai salinan, indoes disimpan di tepat 1 tempat saja), yang ext4pasti inferior dengan btrfsyang akan menyediakan setidaknya checksum untuk semua metadata + data isi file .

Untuk mengatasi "kekurangan" ini ext4dan menjadikannya hal yang lebih rock-soliddalam aspek tata letak disk , masuk akal untuk menambahkan redundansi dan pemulihan ini untuk konten file melalui par2/ parchive

Terlepas dari pertanyaan yang menuntut fokus pada solusi sistem file, saya ingin menarik perhatian bahwa sebagian besar apa yang disediakan oleh sistem file (caching, jurnal, reklamasi ruang yang dialokasikan, alokasi blok, dll.) Belum tentu merupakan sesuatu yang akan diuntungkan oleh data cadangan. banyak ketika hanya menulis dan membaca dalam jumlah besar dan langka. Untuk itu saya akan mempertimbangkan menggunakan cadangan parchivesuplemen tarsebagai solusi cadangan yang lebih optimal, karena basis kode yang digunakan dalam proses ini berkurang, dan karenanya ada lebih sedikit bug jika ada sedikit "fitur".