Bagaimana Anda membuat sistem file yang besar, dapat tumbuh, dan dibagikan di Linux di AWS?

Apa cara yang dapat diterima / masuk akal / terbaik untuk menyediakan penyimpanan bersama yang besar, dapat tumbuh, di AWS, yang diekspos sebagai sistem file tunggal?

Kami saat ini membuat volume EBS 1TB ~ setiap dua minggu dan ekspor NFS dengan no_subtree_check dan nohide. Dalam pengaturan ini, ekspor yang berbeda muncul di bawah satu pemasangan pada klien. Pengaturan ini tidak skala dengan baik.

Opsi yang kami pertimbangkan:

LVM2 dengan ext4. resize2fs terlalu lambat.
Btrfs di Linux. jelas belum siap untuk prime time.
ZFS di Linux. belum jelas siap untuk prime time (walaupun LLNL menggunakannya)
ZFS di Solaris. masa depan kombo ini tidak pasti (untuk saya), dan OS baru dalam campuran
glusterfs kebanyakan mendengar cerita bagus tapi menakutkan (dan mungkin lama?).

Solusi ideal akan menyediakan berbagi, tampilan fs tunggal, kemudahan ekspansi, snapshot, dan replikasi.

Terima kasih telah berbagi ide dan pengalaman.

— Reece
sumber

Sudahkah Anda menghitung angka-angka ini? Menurut saya itu sangat mahal ...

— Michael Hampton

Pertanyaan bagus. Jawabannya agak aneh, tapi kami lebih awal. Kebutuhan data kami tinggi dan kebutuhan komputasi meledak-ledak. Jadi, tidak jelas mana yang lebih mahal: AWS dengan penyimpanan mahal dan solusi komputasi puncak lebih murah, atau lokal dengan komputasi mahal dan penyimpanan lebih murah. (Saya bahkan tidak yakin bahwa biaya penyimpanan yang dimuat penuh benar-benar lebih murah.) Kami mungkin akan menyimpan data arsip di Glacier untuk mengurangi biaya (kendala terjadi pada kami).

— Reece

Jangan lupa biaya bandwidth.

— Michael Hampton

Tentang ZFS, itu adalah Solaris atau FreeBSD, tetapi seperti yang Anda katakan, masa depan agak tidak pasti untuk Solaris dan ZFS open-source macet di versi 28 (apa pun OS).

— Ouki

Bagaimana dengan XFS (di atas LVM)? Ini lebih matang daripada ext4, dan ada kemungkinan untuk melakukan dump tambahan dari sistem file. Anda mungkin ingin memeriksa artikel wikipedia dan tolok ukur terhadap ext4 yang dirujuk di dalamnya.

— peterph
sumber

Terima kasih, Petr. Saya telah mempertimbangkan (dan lupa) kombo LVM + XFS. Saya memiliki keraguan tentang LVM2 dan XFS, sebagian besar seputar ketidakpastian dan kompleksitas operasional baru bagi kami. Saya tidak berharap mendapatkan sesuatu tanpa biaya (yaitu, penyimpanan yang dapat diperluas tanpa usaha), tetapi saya ingin meminimalkan upaya dan risiko bagi kami. Misalnya, apa implikasi dari kehilangan satu volume EBS yang merupakan bagian dari array RAID1? Ini mungkin bukan masalah, tetapi pada titik ini pertanyaan seperti itu menciptakan ketidakpastian bagi saya. Di era ZFS dan btrfs, saya berharap untuk menghindari kompleksitas seperti itu.

— Reece

@Menerima Pertanyaan adalah apakah Anda mempercayai mapper perangkat - iirc, sebagian besar LVM sebenarnya adalah alat ruang pengguna yang didukung oleh dm. Anda akan membutuhkan kernel yang tidak terlalu ancinet (2.6.33+ - lihat wiki ).

— peterph