Saya bukan ninja sistem file terdistribusi, tetapi setelah mengkonsolidasikan drive sebanyak yang saya bisa ke dalam beberapa mesin yang saya bisa, saya akan mencoba menggunakan iSCSI untuk menghubungkan sebagian besar mesin ke satu mesin utama. Di sana saya bisa mengkonsolidasikan hal-hal menjadi semoga penyimpanan toleran. Lebih disukai, toleran kesalahan dalam mesin (jika drive padam) dan di antara mesin (jika seluruh mesin dimatikan).
Secara pribadi saya suka ZFS. Dalam hal ini, build dalam kompresi, dedupe, dan toleransi kesalahan akan sangat membantu. Namun, saya yakin ada banyak cara lain untuk mengompres data sambil membuatnya toleran terhadap kesalahan.
Seandainya saya punya solusi file terdistribusi turnkey nyata untuk merekomendasikan, saya tahu ini benar-benar kludgey tapi saya harap itu menunjukkan Anda ke arah yang benar.
Sunting: Saya masih baru di ZFS dan mengatur iSCSI, tetapi ingat melihat video dari Sun di Jerman di mana mereka menunjukkan toleransi kesalahan ZFS. Mereka menghubungkan tiga hub USB ke komputer dan menempatkan empat flash drive di setiap hub. Kemudian untuk mencegah salah satu hub menurunkan storage pool, mereka membuat volume RAIDz yang terdiri dari satu flash drive dari masing-masing hub. Kemudian mereka memotong empat volume ZFS RAIDz bersama-sama. Dengan cara itu hanya empat flash drive yang digunakan untuk paritas. Berikutnya tentu saja satu hub yang dicabut dan yang mendegradasi setiap zpool, tetapi semua data tersedia. Dalam konfigurasi ini hingga empat drive bisa hilang, tetapi hanya jika ada dua drive tidak di kolam yang sama.
Jika konfigurasi ini digunakan dengan drive mentah dari setiap kotak, maka itu akan mempertahankan lebih banyak drive untuk data dan bukan untuk paritas. Saya mendengar FreeNAS dapat (atau akan dapat) berbagi drive secara "mentah" melalui iSCSI, jadi saya kira Linux dapat melakukan hal yang sama. Seperti yang saya katakan, saya masih belajar, tetapi metode alternatif ini akan kurang boros dari sudut pandang drive parity daripada saran saya sebelumnya. Tentu saja, itu akan bergantung pada penggunaan ZFS yang saya tidak tahu apakah akan diterima. Saya tahu biasanya lebih baik berpegang pada apa yang Anda tahu jika Anda harus membangun / memelihara / memperbaiki sesuatu, kecuali ini adalah pengalaman belajar.
Semoga ini lebih baik.
Sunting: Melakukan penggalian dan menemukan video yang saya bicarakan. Bagian di mana mereka menjelaskan penyebaran USB flash drive melalui hub dimulai pada 2m10s. Video ini untuk mendemonstrasikan server penyimpanan mereka "Thumper" (X4500) dan cara menyebarkan disk di seluruh pengontrol jadi jika Anda memiliki kegagalan pengontrol hard disk data Anda akan tetap bagus. (Secara pribadi saya pikir ini hanya video geeks yang bersenang-senang. Saya berharap saya memiliki kotak Thumper sendiri, tetapi istri saya tidak suka saya menjalankan jack palet melalui rumah.: D Itu adalah satu kotak besar.)
Sunting: Saya ingat pernah melintasi sistem file terdistribusi yang disebut OpenAFS . Saya belum mencobanya, saya hanya membaca beberapa tentang itu. Mungkin orang lain tahu bagaimana menangani di dunia nyata.