Saya memiliki 40 tahun dalam komputasi, tetapi saya tidak pernah harus membangun server seperti ini, jadi ini mungkin pertanyaan n00b.
Saya memiliki klien yang akan menawarkan file musik def ultra-tinggi untuk diunduh. Dalam hal ini berarti FLAC terkompresi 24 / 192Khz = ~ 10GB / album. (Tidak, saya tidak ingin membahas keinginan produk, hanya konfigurasi server.) Katalog akan sekitar 3.000 album, dengan versi def sangat tinggi dan rendah (untuk iPod mereka, saya kira), memberikan sekitar 35-40TB atau lebih dari data primer.
Karena ini adalah produk yang sangat khusus, ukuran pasar relatif kecil (pikirkan: orang yang menghabiskan $ 20.000 pada sistem audio mereka), yang berarti sebagian besar waktu server akan menjadi 100% menganggur (atau dekat dengan itu). Saya memiliki apa yang tampak seperti tawaran colocation yang baik dari ColocationAmerica dengan koneksi 1Gbps dan bandwidth sekitar $ 20 / TB, jadi sekarang saya hanya perlu membuat kotak untuk mengirimkan barang.
Kasus penggunaan akses-data adalah write-once / read-many, jadi saya berpikir untuk hanya menggunakan perangkat lunak RAID 1 untuk pasangan drive. Ini akan memungkinkan saya (saya pikir ) untuk mengkonfigurasi ulang drive cadangan untuk yang gagal on-the-fly, sehingga dapat memulai pembangunan kembali drive kedua sebelum beberapa sysadmin memperhatikan lampu merah pada sistem (mereka bebas swap keluar). Akan lebih bagus jika saya bisa membuat sebagian besar drive untuk tidur / spin-down jika mereka tidak diperlukan, yang akan menjadi sebagian besar waktu untuk sebagian besar drive.
Saya tidak perlu banyak dalam hal menghitung daya — benda ini hanya mendorong benda-benda gemuk ke dalam pipa — dan agar CPU / motherboard bisa cukup sederhana selama dapat mendukung jumlah drive ini.
Saya sedang mempertimbangkan konfigurasi berikut:
Chasis: Supermicro CSE-847E26-RJBOD1
Drives: 30 4TB SAS drives (Seagate ST4000NM0023 ?)
MB: SUPERMICRO MBD-X10SAE-O w/ 8GB
CPU: Xeon E3-1220V3 3.1GHz LGA 1150 80W Quad-Core Server
Jadi, apakah saya pergi ke arah yang benar, atau apakah ini cara yang sepenuhnya n00b / dinosaurus untuk mendekati masalah?
Pembaruan untuk memperjelas beberapa poin:
- Saya tidak punya pengalaman dengan ZFS, karena produk Sun terakhir yang saya miliki adalah kembali di akhir 80-an. Saya akan melakukan sedikit RTFMing untuk melihat apakah itu terasa benar.
- Saya tidak benar-benar membutuhkan sistem file untuk melakukan sesuatu yang spektakuler karena nama file akan menjadi UUID sederhana, dan objek akan seimbang di seluruh drive (semacam seperti sistem caching besar). Jadi saya benar-benar memikirkan ini sebagai 40 filesystem terpisah, dan itu membuat RAID 1 terdengar benar (tapi saya akui ketidaktahuan di sini).
- Karena harapan kami saat ini adalah bahwa kami tidak akan mungkin mengunduh lebih dari beberapa lusin file pada satu waktu, dan dalam kebanyakan kasus hanya ada satu orang yang mengunduh file yang diberikan, saya tidak tahu apakah kami membutuhkan banyak memori. untuk buffer. Mungkin 8GB agak ringan, tetapi saya tidak berpikir 128GB akan melakukan apa pun selain mengkonsumsi energi.
- Ada 2 mesin terpisah yang tidak disebutkan di sini: toko web mereka saat ini, dan Master Download yang hampir sepenuhnya dipisahkan yang menangani semua otentikasi, manajemen konsumsi produk baru, penegakan kebijakan (setelah semua, ini adalah taman bermain RIAA), pembuatan URL sesaat (dan mungkin menyerahkan unduhan ke lebih dari satu binatang buas ini jika lalu lintas melebihi harapan kami), pelacakan penggunaan, dan pembuatan laporan. Itu berarti mesin ini hampir bisa dibuat menggunakan gerbil pada Quaaludes.
ZFS? Di mana manfaatnya?
OK, saya slogging jalan saya melalui beberapa panduan ZFS, FAQ, dll. Maafkan saya karena terdengar bodoh, tapi saya benar-benar mencoba untuk memahami manfaat menggunakan ZFS atas gagasan kuno saya tentang pasangan N RAID1. Pada halaman Praktik Terbaik ini (dari 2006), mereka bahkan menyarankan untuk tidak melakukan 48 perangkat ZFS, tetapi 24 2-perangkat-mirror - kedengarannya seperti apa yang saya bicarakan. Halaman lain menyebutkan jumlah perangkat yang harus diakses untuk mengirimkan 1 (satu) blok ZFS. Juga, harap diingat, pada 10GB per objek, dan pada pemanfaatan disk 80%, saya menyimpan total 320 file per drive 4TB . Waktu rekondisi saya dengan N RAID 1, untuk setiap kegagalan drive yang diberikan, adalah penulisan 4TB dari satu perangkat ke perangkat lainnya.Bagaimana ZFS membuat ini lebih baik?
Saya akui sebagai dinosaurus, tetapi disk murah, RAID 1 Saya mengerti, kebutuhan manajemen file saya sepele, dan ZFS di Linux (OS pilihan saya) masih agak muda. Mungkin saya terlalu konservatif, tetapi ketika saya melihat sistem produksi, itulah yang saya lakukan.
Saya berterima kasih kepada Anda semua atas komentar Anda yang membuat saya berpikir tentang ini. Saya masih belum sepenuhnya memutuskan dan saya mungkin harus kembali dan menanyakan beberapa pertanyaan n00b lagi.