Sistem file apa yang harus saya gunakan untuk sejumlah besar ruang disk di Linux (> 32TB)?

4

Saya mencoba membuat sistem file besar di linux, tetapi telah mengalami masalah dengan banyak sistem file umum.

JFS memiliki bug yang tidak memungkinkan ekspansi lebih dari 32TB.
XFS memiliki bug di fsck yang menyebabkan mesin menggunakan semua memori yang tersedia dan crash ketika menjalankan fsck pada disk yang memiliki sejumlah besar data (~ 20TB).
EXT4 terbatas pada 16TB karena masalah dengan e2fsprogs.
BTRFS akan menyenangkan, tetapi mereka saat ini tidak memiliki fsck, yang saya perlukan.

Ada ide lain?

— bjcubsfan
sumber

Mengapa Anda "perlu" fsck? ZFS tidak memiliki fsck dan tidak memerlukannya secara desain.

— jlliagre

Berapa banyak ruang yang kita bicarakan di sini?

— beatgammit

Kami memiliki 200TB disk. Kami terus menambahkan data, tetapi saat ini kami memiliki sekitar 30TB data. Jika fsck dirancang, itu tidak masalah. Untuk BTRFS, daftar di wiki mereka bahwa Anda mungkin tidak dapat pulih dari crash atau kehilangan daya. Kita akan crash dan kehilangan daya sesekali, jadi kita perlu sesuatu yang bisa menangani ini. Saya membayangkan ZFS akan bekerja, dan akan mempertimbangkannya. Ada kekurangannya yaitu hanya pada sekering.

— bjcubsfan

4

Mungkin tidak secepat yang lain, karena hanya sistem berbasis pengguna tanah di Linux, tetapi ZFS mungkin sesuai dengan tagihan ...

Nama aslinya adalah "Sistem File Zettabyte". Selektor nama asli kebetulan menyukai nama, dan sistem file ZFS memiliki kemampuan untuk menyimpan 2 ⁵⁸ zettabytes, di mana masing-masing ZB adalah 2 ⁷⁰ byte.

ZFS adalah sistem file 128-bit, sehingga dapat menangani data 1,84 × 10 ¹⁹ kali lebih banyak daripada sistem 64-bit seperti NTFS. Keterbatasan ZFS dirancang sedemikian besar sehingga tidak akan pernah ditemui. Beberapa batasan teoritis dalam ZFS adalah:

2 ⁴⁸ - Jumlah entri dalam setiap direktori
16 exabytes (16 × 10 ¹⁸ bytes) - Ukuran maksimum satu file
16 exabytes - Ukuran maksimum atribut apa pun
2 ⁵⁶ zettabytes (2 ⁷⁸ bytes) - Ukuran maksimum zpool apa pun
2 ⁵⁶ - Jumlah atribut file (sebenarnya dibatasi pada 2 ⁴⁸ untuk jumlah file dalam sistem file ZFS)
2 ⁶⁴ - Jumlah perangkat di zpool apa pun
2 ⁶⁴ - Jumlah zpool dalam suatu sistem
2 ⁶⁴ - Jumlah sistem file di zpool

Ada beberapa yang mengatakan bahwa tidak ada cukup atom di kerak bumi untuk membuat array penyimpanan file yang cukup besar untuk melampaui batasan ZFS.

— Majenko
sumber

0

ZFS adalah solusi yang mungkin, tetapi saat ini orang juga dapat menggunakan sistem file yang Anda kecualikan di awal

ext4: petabyte filesystemd seharusnya tidak menjadi masalah di versi e2fsprog dan kernel terbaru
btrfs: memiliki btfsck yang berfungsi dan juga dapat menskala ke ukuran besar.

— Robin Roth
sumber