apakah mungkin untuk menangani array RAID perangkat keras (LUN) sebagai drive OSD?

8

Saya cukup baru untuk ceph dan mencoba mencari tahu apakah ceph mendukung hardware raid tingkat HBA.

Sedihnya tidak dapat menemukan informasi. Apa yang saya temukan adalah, bahwa disarankan untuk menggunakan disk biasa untuk OSD. Tetapi ini mendorong persyaratan PCIe, antarmuka disk ke bandwidth tinggi dan persyaratan CPU sangat tinggi. Pengontrol RAID perangkat keras telah menyelesaikan persyaratan ini dan memberikan redundansi tinggi berdasarkan pengaturan tanpa memakan PCIe, CPU, atau sumber daya lainnya.

Jadi pengaturan yang saya inginkan adalah memiliki pengontrol RAID lokal, yang menangani redundansi disk saya pada level pengontrol (Raid 5, raid 6) apa pun level RAID yang saya butuhkan. Di atas apa RAID LUN saya ingin menggunakan ceph untuk melakukan replikasi tingkat yang lebih tinggi antara: host, sasis, rak, baris, pusat data atau apa pun yang mungkin atau dapat direncanakan dalam CRUSH

Adakah pengalaman dalam pengaturan itu?

Apakah ini pengaturan yang disarankan?

Adakah dokumentasi yang mendalam untuk integrasi RAID perangkat keras ini?

— nila
sumber

7

Anda tidak bisa berarti Anda harus melakukannya. Memetakan RAID LUN ke Ceph dimungkinkan, tetapi Anda menyuntikkan satu lapisan tambahan abstraksi dan jenis render, setidaknya bagian dari fungsi Ceph tidak berguna.

Utas serupa di milis mereka:

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2017-September/021159.html

— BaronSamedi1958
sumber

1

Bisakah Anda menguraikan "membuat setidaknya bagian dari fungsionalitas Ceph tidak berguna" sedikit lebih? Jangan mengerti intinya

— cilap

1

Seluruh ide Ceph ... OK, salah satu ide utama! adalah untuk menghindari mengelola "pulau penyimpanan" yang merupakan RAID LUN.

— BaronSamedi1958

0

Tetapi ini mendorong persyaratan PCIe, antarmuka disk ke bandwidth tinggi dan persyaratan CPU sangat tinggi.

Tidak juga, banyak beban kerja penyimpanan dilayani dengan baik dengan CPU umum umum dan interkoneksi.

Ya, pengontrol RAID menangani redundansi dengan segenggam disk dalam satu sasis. Tapi itu biaya dan kompleksitas ketika Anda menjalankan solusi penyimpanan terdistribusi multi node yang sudah redundan seperti Ceph. Mengapa repot-repot membuat mirror disk fisik ketika Ceph sudah memiliki banyak salinannya?

Blok bangunan dari solusi semacam itu hanyalah sekelompok disk. Seperti Open Vault Open Vault Storage . 30 spindle dalam enklosur, yang dilampirkan ke simpul komputasi mungkin beberapa lusin inti CPU. Tambahkan node sebanyak yang Anda perlu skala. Anda dapat meninggalkan komputasi yang didedikasikan untuk Ceph jika Anda ingin memaksimalkan throughput.

— John Mahowald
sumber

apakah Anda memiliki fakta dengan tolok ukur CPU, mem, dan disk nyata dibandingkan dengan tolok ukur perangkat keras RAID? Dengan array RAID perangkat keras, saya memiliki persyaratan rendah pada CPU dan mem, karena controller perangkat keras merawatnya.

— cilap

Bukan saya. Dan Anda benar-benar ingin melakukan tolok ukur sendiri. Perlu diketahui bahwa CPU melakukan milyaran siklus per detik, dan interkoneksi (PCIe) melakukan miliaran transfer per detik. Anda bebas menggunakan pengontrol RAID, sepertinya tidak perlu di node penyimpanan terdistribusi.

— John Mahowald

-1

Pengaturan yang disarankan adalah menggunakan disk tunggal atau, akhirnya, disk dalam pasangan RAID-1.

Pengontrol SAS tunggal (atau pengontrol RAID dalam mode JBOD) dapat menggerakkan beberapa ratus disk tanpa masalah.

Menggunakan array yang sangat besar mengalahkan tujuan CEPH yaitu untuk menghindari satu titik kegagalan dan "titik panas". Ini juga akan benar-benar membahayakan redundansi Anda.

Katakanlah Anda ingin membangun klaster CEPH 1 PB menggunakan drive 8 TB, menggunakan sasis server 36 disk (perangkat keras mirip Supermicro). Mari kita bandingkan pengaturan dengan dan tanpa RAID dalam hal kapasitas dan keandalan penyimpanan:

Dengan RAID-6 Anda membutuhkan 5 sasis (dan 10 OSD).
- Setiap sasis akan memiliki 2 18 disk array RAID.
- Anda akan memiliki penyimpanan 1024 TB.
- Jika terjadi kerusakan banyak disk, Anda harus membangun kembali 256 TB.
Dengan sasis CEPH dan 5 Anda akan memiliki 180 OSD.
- Kapasitas yang tersedia akan sedikit lebih unggul (menggunakan pengkodean penghapusan): 1152 TB
- dalam kasus kerusakan beberapa disk, Anda harus membangun kembali hanya jumlah disk yang gagal (kecuali seluruh server, itu akan selalu kurang dari 256 TB).

— wazoox
sumber

Saya mendapatkan persyaratan dari Ceph, tetapi masih ada satu pertanyaan besar yang tidak dijawab. Apa persyaratan untuk sasis drive 36? Afaik Anda membutuhkan 36 core dari deskripsi ceph untuk itu. Konfigurasi apa yang akan Anda sarankan untuk contoh Anda? Apa upaya replikasi dan apa tolok ukurnya?

— cilap

baru saja lupa. Afaik pengaturan Anda memerlukan lebih banyak contoh atau bahkan mungkin lebih banyak server untuk manajemen.

— cilap

@cilap itu tergantung pada kinerja yang dibutuhkan. Anda biasanya tidak memerlukan 1 inti per OSD, menggunakan sekitar setengah inti sudah cukup. Kinerja coding penghapusan lebih rendah dari replikasi penuh.

— wazoox

Saya tidak menyebutkan MDS karena Anda juga akan melakukannya. tergantung pada biaya cluster Anda, Anda dapat menggunakan node penyimpanan sebagai server MDS dan MON.

— wazoox