Konfigurasi disk Hadoop JBOD pada pengontrol disk HP Smart Array 410 / i

8

Saya sedang dalam tahap evaluasi beberapa hw yang dapat digunakan untuk membuat cluster hadoop. Hw ini diperbaharui (server hp G6 dengan kontroler Smart Array 410 / i) dan mungkin kita harus / harus menggunakannya ... kita belum memilikinya. Saya telah membaca bahwa 410 / i controller tidak memungkinkan konfigurasi JBOD seperti yang disyaratkan oleh hadoop, apakah ada orang yang bisa mengkonfirmasi pernyataan ini? Atau tidak ? Tampaknya solusinya dapat mengkonfigurasi raid0 pada setiap disk tunggal, sekali lagi ada yang mengonfirmasi atau ada cara lain konfigurasi? Rob terima kasih

— nysalsa
sumber

7

Kontroler Smart Array 410 / i hanya memungkinkan 2 perangkat raid dibuat tanpa kartu memori opsional ditambahkan. Jadi, jika perangkat keras Anda hanya memiliki 2 drive, maka itu akan baik-baik saja; Anda bisa membuatnya 2 raid0's. Jika Anda memiliki lebih dari 2 drive, Anda mungkin harus membeli Bagian # 462974-001 - 256MB Battery Cache Tulis BBWC modul memori. Jika Anda tidak yakin, cobalah di utilitas konfigurasi, itu akan mengeluh bahwa ada batasan pada jumlah perangkat raid yang dikonfigurasi diizinkan jika Anda perlu membeli addon memori.

Baru-baru ini saya menyiapkan server ZFS menggunakan salah satu dari mereka dan 12 disk dalam mode RAID0 untuk masing-masing dan itu berfungsi dengan baik. Karena Anda dapat menonaktifkan hampir semua fitur pengendali serangan yang sebenarnya, secara efektif sama dengan mode JBOD.

— Erik
sumber

4

Meskipun Anda dapat membuat beberapa RAID 0 pada pengontrol yang digunakan dengan ZFS, Anda akan memiliki masalah jika disk gagal. ZFS tidak akan mengenali penggantian kecuali Anda reboot.

— ewwhite

4

Situasi ini mirip dengan apa yang saya temui ketika merancang perangkat keras untuk solusi penyimpanan ZFS. ZFS adalah perangkat lunak RAID dan memanfaatkan sumber daya server untuk manajemen disk. RAID perangkat keras tidak disarankan, dan JBOD tidak benar-benar mungkin dengan pengontrol Smart Array. Jadi ketika menggunakan sistem ProLiant untuk ZFS, saya mengganti pengontrol Smart Array dengan sesuatu yang memiliki mode JBOD atau SAS / SATA HBA dasar.

Biasanya, ini akan menjadi LSI SAS HBA (tanpa fitur RAID). Preferensi saya adalah LSI 9211-8i atau 9205e.

Lihat rekomendasi di: rekomendasi pengontrol ZFS SAS / SATA

— putih
sumber

0

Sementara rentang Pxxx tidak memungkinkan konfigurasi JBOD langsung jika Anda hanya membuat satu array dari semua disk Anda dan kemudian membuat beberapa array RAID0 dari ukuran yang setara maka Anda cukup banyak di sana dalam hal kesamaan fungsional. Yang mengatakan saya juga sedikit meragukan persyaratan Hadoop, pertama tidak ada yang bisa benar-benar tahu apa konfigurasi disk yang sebenarnya karena disembunyikan oleh BIOS dan kedua karena tampaknya terlalu preskriptif mengingat seberapa baik pemikiran dari pengontrol HP, apa masalah dengan array yang mengelola disk-nya?

— Chopper3
sumber

3

Terima kasih atas jawabannya, HDFS (sistem file Hadoop) memiliki redundansi bawaan dengan mereplikasi blok di beberapa node. RAID 0 lebih lambat daripada konfigurasi JBOD yang digunakan oleh HDFS karena I / O dibatasi oleh kecepatan disk paling lambat dalam I / O array RAID pada JBOD bersifat independen, sehingga kecepatan rata-rata lebih besar daripada disk paling lambat. Tes yang dilakukan oleh Yahoo menunjukkan kinerja JBOD lebih baik daripada RAID 0: markmail.org/message/xmzc45zi25htr7ry

— nysalsa

0

Anda dapat mengkonfigurasi RAID0 per disk fisik yang tersedia.

Katakanlah jika Anda memiliki 8 disk, maka Anda akhirnya memiliki sesuatu seperti itu (CentOS 6):

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)

— sl0n
sumber

1

Jangan lakukan ini. Anda kehilangan kapabilitas hot-swap dan akan memiliki masalah enumerasi blok drive perangkat logis. Disk yang gagal == gagal drive logis == perangkat baru dibuat setelah penggantian.

— ewwhite

1

"Bagaimana kemampuan swap"? Maksud Anda, saya tidak akan dapat mengganti disk yang gagal dalam mode "online", yaitu saya harus mematikan server saya sebelum mengganti disk yang gagal? Berkenaan dengan enumaration perangkat, saya akan memeriksa itu, saya pikir itu poin yang adil.

— sl0n