ZFS dan SAN - praktik terbaik?

Sebagian besar diskusi tentang ZFS menyarankan bahwa peranti penangkap keras RAID dimatikan dan bahwa ZFS harus langsung berbicara ke disk dan mengelola RAID pada host (bukan pengontrol RAID).

Ini masuk akal pada komputer dengan 2-16 atau bahkan lebih banyak disk lokal, tetapi bagaimana dengan lingkungan dengan SAN besar?

Misalnya, perusahaan tempat saya bekerja memiliki apa yang saya anggap sebagai SAN berukuran sedang dengan 2 rak penuh disk, yang kira-kira seperti 400 spindel. Saya telah melihat rak SAN yang jauh lebih padat dari kami, dan penyebaran SAN jauh lebih besar dari kami.

Apakah orang mengekspos 100 disk langsung ke server ZFS besar? 300 disk? 3000 disk? Apakah alat manajemen SAN memfasilitasi manajemen otomatis untuk hal semacam ini?

FWIW Saya memiliki pengalaman dengan hingga 92 disk dalam satu kolam ZFS dan sejauh ini berfungsi dengan baik.

Tetapi jika Anda benar-benar berbicara tentang beberapa ratus disk saya akan mempertimbangkan mempartisi mereka menjadi sejumlah kecil kolam yang terpisah (tapi masih besar). Saya tidak ingin tahu berapa lama misalnya zpool scrubberjalan pada 3000 disk pool (tetapi Anda ingin menggosok secara teratur). Juga output dari perintah seperti zpool statusakan sulit dengan sejumlah besar disk. Jadi mengapa memasukkan semua telur ke dalam satu keranjang?

(Catatan sisi pada dedup : Perhatikan bahwa walaupun dedup dapat dikontrol pada level dataset, ia akan menemukan duplikat pada level pool. Yaitu Anda mungkin akan mendapatkan hasil dedup yang lebih buruk jika Anda mempartisi seperti yang disarankan. Di sisi lain Anda akan perlu lebih banyak memori untuk menahan hash dedup dari satu kolam raksasa yang mungkin tidak cocok dengan ARC + L2ARC jika kolam terlalu besar. Jadi jika Anda menggunakan dedup jumlah memori yang tersedia mungkin merupakan indikator yang baik untuk ukuran kolam praktis maksimum .)

Kami membiarkan SAN kami mengelola RAID. Mengapa menghabiskan uang untuk semua NVRAM yang didukung baterai dan prosesor yang berdedikasi dan kemudian melepas pekerjaan ke server, yang CPU-nya ingin saya lakukan sesuatu selain RAID checksum?

Berikut adalah situs web yang mungkin ingin Anda perhatikan untuk mempertimbangkan ukuran dan konfigurasi kumpulan data untuk kemungkinan hilangnya data.
https://blogs.oracle.com/relling/entry/zfs_copies_and_data_protection

Ini pertanyaan lama tapi hanya relevan hari ini seperti 7 tahun yang lalu!

Untuk menjawab bagian pertama dari pertanyaan, saya tidak mengetahui apa yang kita sebut "SAN" yang akan pernah mengekspos disk mentah ke server yang dapat menjalankan ZFS. SAN menurut definisi hanya menyajikan penyimpanan blok (LUN) atau mungkin dengan sesuatu seperti Filer / FS menyajikan NFS atau CIFS. Ada beberapa "SAN" yang benar-benar menjalankan ZFS secara internal, tetapi ini sebagian besar diabstraksikan - disk tidak pernah terpapar ke server, sebagai gantinya komponen "Filer" dari SAN menyajikan blok atau sistem file jaringan ke server.

Perangkat yang menyajikan disk mentah (lebih dari SAS atau lebih kecil dari FC) adalah DAS. Untuk menjalankan ZFS, biasanya Anda akan memberi tahu pengontrol RAID untuk menyajikan disk sebagai JBOD.

Namun apakah Anda harus menggunakan ZFS pada LUN yang disajikan oleh SAN? Kemungkinan: ZFS vs misalnya EXT4, menyediakan beberapa fitur tambahan seperti scrub yang memeriksa checksum atau untuk menjalankan snapshot. Scrub mungkin tidak dapat secara otomatis menyembuhkan dengan cara yang sama seperti itu jika melakukan disk RAID, tetapi masih dapat mengingatkan Anda untuk korupsi, membantu mencegah bitrot. Snapshots yang dapat Anda buat, misalnya, server file Linux SAMBA jauh lebih unggul dari apa yang dapat Anda lakukan dengan EXT, ini bahkan dapat diekspos di Windows sebagai "Versi Sebelumnya).

Jika Anda tidak memberikan data berlebihan ZFS untuk bekerja dengan (misalnya mirror, RAID-Z), maka Anda kehilangan banyak manfaat menggunakannya. Jumlah disk yang terlibat tidak akan mengubah fakta itu. Namun, apakah itu penting benar-benar tergantung pada lingkungan Anda. Anda harus menentukan fitur penyimpanan apa yang Anda butuhkan (analisis yang berpotensi padat karya), dan kemudian mencari solusi yang paling murah (Anda mampu) yang memenuhi kebutuhan Anda. Itu mungkin berarti menggunakan ZFS di mana-mana bersama dengan perangkat penyimpanan Oracle khusus (beberapa orang melakukan itu dan memiliki banyak disk terkena ZFS tanpa masalah, dan menggunakan alat Oracle untuk melakukan manajemen), itu mungkin berarti hanya menggunakan produk SAN perusahaan, atau itu mungkin berarti menggunakan beberapa hibrida (dalam hal ini Anda mungkin harus mengembangkan beberapa alat dan proses sendiri untuk mengelola lingkungan). Mengenakan'