150 TB dan terus tumbuh, tetapi bagaimana cara tumbuh?

Grup saya saat ini memiliki dua server penyimpanan besar, keduanya NAS yang menjalankan linux debian. Yang pertama adalah server all-in-one 24-disk (SATA) yang berusia beberapa tahun. Kami memiliki dua perangkat keras yang diatur oleh RAIDS dengan LVM di atasnya. Server kedua adalah 64 disk yang terbagi atas 4 lampiran, masing-masing merupakan perangkat keras RAID 6, yang terhubung melalui SAS eksternal. Kami menggunakan XFS dengan LVM untuk membuat 100TB penyimpanan yang bisa digunakan. Semua ini bekerja dengan sangat baik, tetapi kami melampaui sistem ini. Setelah membangun dua server seperti itu dan masih terus berkembang, kami ingin membangun sesuatu yang memungkinkan kami lebih fleksibel dalam hal pertumbuhan di masa depan, opsi cadangan, yang berperilaku lebih baik di bawah kegagalan disk (memeriksa sistem file yang lebih besar dapat memakan waktu sehari atau lebih), dan dapat bertahan di lingkungan yang sangat padat (pikirkan kluster komputer kecil). Kami tidak memiliki dukungan administrasi sistem,

Jadi, yang kami cari adalah solusi penyimpanan kinerja yang relatif murah dan dapat diterima yang akan memungkinkan pertumbuhan di masa depan dan konfigurasi yang fleksibel (pikirkan ZFS dengan kumpulan berbeda yang memiliki karakteristik operasi berbeda). Kita mungkin berada di luar ranah satu NAS. Kami telah memikirkan kombinasi ZFS (pada openindiana, misalnya) atau btrfs per server dengan glusterfs yang berjalan di atasnya jika kita melakukannya sendiri. Yang kami pertimbangkan adalah dengan hanya menggigit peluru dan berinvestasi dalam solusi penyimpanan Isilon atau 3Par.

Setiap saran atau pengalaman dihargai.

Saya harap ini sedikit membantu. Saya mencoba untuk tidak membiarkannya menjadi dinding teks penuh. :)

3Par / Isilon

Jika Anda bisa dan akan mendedikasikan jumlah jam kerja tetap bagi seseorang yang mengambil peran sebagai admin SAN dan ingin menikmati kehidupan tanpa rasa sakit dengan tidur malam alih-alih kerja malam, inilah cara yang akan saya jalani.

Sebuah SAN memungkinkan Anda melakukan semua hal di mana satu "penyimpanan" akan membatasi Anda (yaitu menghubungkan array flash purestorage dan monster 3par sata besar ke server yang sama), tetapi Anda juga harus membayar untuk itu dan menjaganya tetap terpelihara semua waktu jika Anda ingin memanfaatkan fleksibilitas.

Alternatif

Amplidata

Kelebihan: Skala keluar, murah, dirancang dengan konsep yang bagus dan lapisan cache baca / tulis khusus. Ini mungkin sebenarnya menjadi hal terbaik untuk Anda

RisingTideOS

Perangkat lunak target mereka digunakan di hampir semua penyimpanan linux sekarang dan memungkinkan untuk manajemen yang sedikit lebih baik daripada linux / gluster biasa. (Imho) Versi komersial mungkin patut dilihat.

Gluster / btrfs

PRO: Skala dan "Batu Bata" memberi Anda lapisan abstraksi yang sangat baik untuk manajemen.

CON: Yang pertama telah total PITA bagi saya. Itu tidak kuat, dan kegagalan bisa menjadi lokal untuk satu batu bata atau mengambil semuanya. Sekarang, dengan RedHat yang memegang kendali itu mungkin sebenarnya berubah menjadi sesuatu yang berfungsi dan saya bahkan telah bertemu orang-orang yang dapat menjinakkannya sehingga berfungsi selama bertahun-tahun. Dan yang kedua masih setengah eksperimental. Biasanya seorang FS membutuhkan 3-4 tahun setelah itu "selesai" sampai terbukti dan kuat. Jika Anda peduli dengan data, mengapa Anda mempertimbangkan hal ini? Berbicara tentang eksperimental, dukungan komersial Ceph hampir keluar sekarang, tetapi Anda harus tetap menggunakan layer "RBD", FS belum cukup teruji dengan baik. Saya ingin menjelaskan bahwa Ceph jauh lebih menarik dalam jangka panjang. :)

ZFS

Pro: Fitur yang pasti menempatkan paku di peti mati barang lain. Fitur-fitur itu dirancang dengan baik (pikirkan L2ARC) dan kompresi / dedup itu menyenangkan. Memiliki lebih banyak "cluster penyimpanan" yang berarti juga memiliki kegagalan yang kecil alih-alih satu ledakan besar yang terkonsolidasi

Con: Mempertahankan banyak kotak perangkat lunak kecil alih-alih penyimpanan nyata. Perlu mengintegrasikan mereka dan menghabiskan $$$ jam untuk memiliki pengaturan yang kuat.

Rute XFS + LVM memang salah satu opsi terbaik untuk solusi penyimpanan murni-Linux yang diperkecil dalam beberapa tahun terakhir. Saya didorong Anda sudah ada di sana. Sekarang Anda perlu tumbuh lebih banyak, Anda memiliki beberapa opsi lagi yang tersedia untuk Anda.

Seperti yang Anda tahu, vendor perangkat keras besar di luar sana memang memiliki NAS-head untuk penyimpanan mereka. Ini memang akan memberi Anda satu vendor untuk bekerja bersama untuk mewujudkan semuanya, dan itu akan bekerja dengan cukup baik. Mereka adalah solusi mudah untuk masuk (dibandingkan dengan DIY), dan rawatannya lebih rendah. Tapi, harganya cukup mahal. Di satu sisi Anda akan memiliki lebih banyak sumber daya rekayasa untuk menyelesaikan masalah utama Anda daripada masalah infrastruktur; di sisi lain, jika Anda seperti kebanyakan departemen Universitas yang saya kenal tenaga manusia benar-benar murah dibandingkan membayar uang untuk sesuatu.

Pergi rute DIY Anda sudah memiliki apresiasi yang baik terhadap opsi DIY yang tersedia untuk Anda. ZFS / BTRFS adalah jalur peningkatan yang jelas dari XFS + LVM untuk meningkatkan penyimpanan. Saya akan menghindari BTRFS sampai dinyatakan stabil di kernel Linux mainline, yang seharusnya segera karena beberapa distro gratis utama menggunakannya sebagai sistem file default. Untuk ZFS, saya sarankan menggunakan basis BSD daripada OpenIndiana hanya karena sudah ada lebih lama dan memiliki ketegaran (lebih) berhasil.

Gluster dirancang untuk case-use yang Anda jelaskan di sini. Itu dapat melakukan replikasi serta menghadirkan server virtual tunggal dengan banyak penyimpanan terpasang. Volume Terdistribusi mereka terdengar persis seperti yang Anda cari, karena mereka menyebarkan file ke semua server penyimpanan pada volume yang dinyatakan. Anda dapat terus menambahkan server penyimpanan diskrit untuk terus memperluas volume yang terlihat. Ruang nama tunggal!

Gotcha with Gluster berfungsi dengan baik ketika klien Anda dapat menggunakan Gluster Client untuk mengakses sistem daripada opsi CIFS atau NFS. Karena Anda menjalankan cluster-compute cluster kecil, Anda mungkin bisa memanfaatkan klien GlusterFS.

Anda berada di jalur yang benar di sini.

Sejauh yang saya mengerti Anda dapat menggunakan solusi SAN berdasarkan Linux SCST + FibreChannel atau infiniband, yang merupakan sesuatu yang sedang dibangun saat ini. Sebagai dasar untuk LUN Anda dapat menggunakan LVM di atas RAID perangkat keras dan menangani snapshots / replikasi (ambil DRBD sebagai contoh) di bawah level sistem file. Sebagai filesystem saya tidak mengetahui solusi yang bagus untuk persetujuan karena saya menempatkan ESXi di atas node, sehingga datastore dikelola oleh ESX bersamaan FS. Saya pikir GFS2 mungkin bekerja dengan lingkungan itu tetapi saya tidak 100% yakin, karena Anda harus memeriksa persyaratan yang tepat. Lagi pula setelah Anda memiliki SAN yang kuat di bawah node Anda, sangat mudah untuk menyelesaikannya.