Memilih teknologi SAN untuk 100-an Server Web VM

Masalah

Kami memiliki masalah dengan kinerja pada platform yang ada, jadi saya beralih ke pikiran sarang untuk pendapat kedua tentang ini. Masalah kinerja sejauh ini berkaitan dengan IOPS daripada throughput.

Skenario

Pusat blade dengan 16 host, masing-masing dengan 64GB RAM. (Ini adalah Dell M1000e w / M610s, tapi itu mungkin tidak relevan) 500 VMs, semua server web (atau teknologi web terkait seperti MySQL, load balancers, dll.), Sekitar 90% adalah Linux dan sisanya Windows. Hypervisor adalah VMWare vSphere. Kami harus menyediakan host HA, sehingga penyimpanan lokal tidak aktif. Dengan demikian host hanya memiliki kartu SD untuk boot.

Sedikit pemikiran latar belakang

Saat ini kami memiliki hingga 6 host (pusat blade akan memiliki kapasitas penuh dalam waktu beberapa tahun pada pertumbuhan saat ini) dan kami menjalankan iSCSI ke Dell MD3220i w / MD1220 untuk ekspansi.

Opsi yang mungkin telah kami pertimbangkan, dan pemikiran langsung bersama mereka:

• Menyebarkan VM di seluruh datastore NFS, dan menjalankan penyimpanan NFS yang memenuhi persyaratan kinerja hingga sejumlah VM yang diberikan. NFS tampaknya lebih murah untuk skala, serta telah diabstraksi sedikit lebih dari penyimpanan tingkat blok sehingga kita dapat memindahkannya sesuai kebutuhan.
• Menambahkan lebih banyak pengontrol / target MD3220i. Kami prihatin bahwa melakukan hal ini dapat memiliki efek negatif dalam cara VMWare menangani memiliki banyak target.
• Mengganti semua disk dari Nearline SAS ke SSD. Ini seharusnya sepenuhnya menyelesaikan masalah IOPS, tetapi memiliki efek samping yang jelas dari memangkas kapasitas penyimpanan kami. Juga masih sangat mahal.
• vSphere 5 memiliki alat penyimpanan. Kami belum banyak meneliti, tetapi harus bekerja dengan baik?

Pertanyaan

Jenis penyimpanan apa yang akan Anda jalankan di bawah semua itu? Tidak perlu menskala ke pusat blade lain, hanya perlu memberikan kinerja yang relatif baik untuk semua VM tersebut.

Saya tidak mencari jawaban "Beli SAN x karena itu yang terbaik". Saya mencari pemikiran tentang berbagai teknologi SAN (iSCSI, FC, FCoE, InfiniBand, NFS, dll), berbagai jenis penyimpanan (SATA, SAS, SSD), dan metodologi untuk menangani penyimpanan selama 100-an VM (Konsolidasi, Pemisahan , Sharding, dll).

Benar-benar ada pikiran, tautan, panduan, petunjuk, dll. Saya juga senang mendengar pemikiran tentang opsi-opsi di atas yang telah kami pertimbangkan.

Terima kasih banyak sebelumnya atas segala masukan!

Perbarui 5 Maret '12

Beberapa tanggapan yang fantastis sejauh ini, terima kasih banyak semuanya!

Pergi dengan tanggapan terhadap pertanyaan ini sejauh ini, saya mulai berpikir rute berikut adalah caranya:

• Tingkatkan penyimpanan yang tersedia ke kluster VMWare dan letakkan disk VM pada penyimpanan yang sesuai untuk beban kerjanya.
• Berpotensi memanfaatkan SAN yang mampu mengelola penempatan data ke penyimpanan yang sesuai secara otomatis.
• Infiniband tampaknya menjadi yang paling hemat biaya untuk mendapatkan bandwidth yang diperlukan dengan host pada kapasitas penuh.

Jelas kedengarannya layak menggunakan layanan pra-penjualan dari vendor SAN utama untuk memahami skenario tersebut.

Saya akan terus mempertimbangkan masalah ini untuk sementara waktu. Sementara itu, saran lagi diterima dengan penuh rasa terima kasih!

Kunci untuk platform penyimpanan VMWare yang baik adalah memahami jenis beban yang dihasilkan VMWare.

• Pertama, karena Anda meng-host banyak server, beban kerjanya biasanya acak. Ada banyak aliran IO yang berjalan pada saat yang sama, dan tidak banyak dari mereka yang berhasil di-cache.
• Kedua, itu variabel. Selama operasi normal, Anda mungkin melihat 70% pembacaan acak, namun begitu Anda memutuskan untuk memindahkan VM ke datastore baru atau sesuatu, Anda akan melihat tulisan sekuensial 60GB yang besar. Jika Anda tidak berhati-hati tentang arsitektur, ini dapat melumpuhkan kemampuan penyimpanan Anda untuk menangani IO normal.
• Ketiga, sebagian kecil dari lingkungan Anda biasanya akan menghasilkan sebagian besar dari beban kerja penyimpanan.

Cara terbaik untuk mendekati membangun penyimpanan untuk platform VMWare adalah mulai dengan dasar-dasarnya.

• Anda memerlukan kemampuan untuk melayani beban kerja baca acak yang besar, yang berarti drive lebih cepat lebih kecil, dan juga SSD. Sebagian besar sistem penyimpanan modern memungkinkan Anda untuk memindahkan data secara otomatis tergantung pada bagaimana itu diakses. Jika Anda akan menggunakan SSD, Anda ingin memastikan ini adalah bagaimana Anda menggunakannya. Itu harus ada di sana sebagai cara untuk mengurangi hot spot secara bertahap. Apakah Anda menggunakan SSD atau tidak, itu bermanfaat untuk dapat menempatkan semua pekerjaan di semua drive, sehingga sesuatu dengan jenis penyimpanan penyimpanan akan bermanfaat.
• Anda memerlukan kemampuan untuk menulis layanan berselang besar, yang tidak terlalu peduli dengan kecepatan spindle drive yang mendasarinya, tetapi tidak peduli tentang efisiensi tumpukan controller dan ukuran cache. Jika Anda memiliki mirror caching (yang bukan opsional kecuali Anda bersedia untuk kembali ke backup setiap kali Anda memiliki kegagalan controller), bandwidth antara dua cache yang digunakan untuk mirroring akan menjadi hambatan Anda untuk menulis berurutan besar, biasanya. Pastikan bahwa apa pun yang Anda dapatkan memiliki interkoneksi pengontrol (atau kluster) berkecepatan tinggi untuk cache tulis. Lakukan yang terbaik untuk mendapatkan jaringan ujung depan berkecepatan tinggi dengan port sebanyak yang Anda bisa dapatkan dengan tetap realistis pada harga. Kunci untuk kinerja ujung depan yang baik adalah menempatkan beban penyimpanan Anda di sebanyak mungkin sumber daya ujung depan.
• Anda dapat secara serius mengurangi biaya dengan memiliki tier untuk penyimpanan prioritas rendah, serta penyediaan tipis. Jika sistem Anda tidak secara otomatis memigrasi blok individual ke drive besar / lambat yang murah (seperti SAS atau SATA nearline dengan ukuran 7200 RPM dan 2TB +), coba lakukan secara manual. Drive lambat besar adalah target yang sangat baik untuk arsip, cadangan, beberapa sistem file, dan bahkan server dengan penggunaan rendah.
• Bersikeras bahwa penyimpanan terintegrasi VAAI sehingga VMWare dapat mendelokasi bagian-bagian yang tidak terpakai dari VM serta datastore.

Penggunaan VMWare besar saya adalah NFS dan iSCSI lebih dari 10GbE. Itu berarti dual-port 10GbE HBA di server, serta kepala penyimpanan. Saya penggemar penyimpanan berbasis ZFS untuk ini. Dalam kasus saya itu melilit NexentaStor komersial , tetapi beberapa memilih untuk roll sendiri.

Fitur utama penyimpanan berbasis ZFS dalam konteks ini adalah fungsi caching ARC / L2ARC, yang memungkinkan Anda untuk meningkatkan penyimpanan. Data paling aktif akan menemukan jalannya dalam penyimpanan RAM dan SSD sebagai tingkat kedua. Menjalankan kumpulan penyimpanan utama Anda dari drive SAS 10 ribu atau 15 ribu juga akan bermanfaat.

Ini adalah contoh lain dari pembuatan profil dan memahami beban kerja Anda. Bekerja dengan seseorang yang dapat menganalisis pola penyimpanan Anda dan membantu Anda merencanakan. Di sisi ZFS / NexentaStor, saya suka PogoStorage . Tanpa jenis wawasan tersebut, metode transportasi (FC, FCoE, iSCSI, NFS) mungkin tidak masalah. Apakah Anda memiliki pemantauan infrastruktur yang ada? Seperti apa kegiatan I / O sekarang?

Pertanyaan kuncinya adalah: "di mana hambatannya?" Anda menyebutkan IOPS, tetapi apakah itu berarti bahwa Anda secara positif mengidentifikasi disk itu sendiri sebagai penghambat, atau hanya bahwa port SAN tidak berjalan pada kapasitas, atau bahwa VM berada di iowait jauh lebih banyak daripada yang Anda inginkan?

Jika Anda benar-benar mengidentifikasi bahwa disk adalah faktor pembatas, maka beralihlah ke NFS atau infiniband atau apa pun yang tidak akan membuat Anda jongkok untuk kinerja Anda - Anda memerlukan SSD (atau setidaknya penyimpanan berjenjang dengan SSD dalam campuran) atau satu bundel lebih banyak gelendong (solusi yang dengan sendirinya jauh lebih mahal baru-baru ini sejak produksi motor stepper dunia tersapu ke laut).

Jika Anda tidak 100% yakin di mana sebenarnya hambatannya, Anda harus menemukannya terlebih dahulu - mengganti sebagian infrastruktur penyimpanan Anda lebih atau kurang secara acak berdasarkan dugaan orang lain di sini tidak akan menjadi sangat efektif (terutama mengingat seberapa mahal perubahan yang akan diterapkan).

Jika Anda ingin iscsi atau nfs maka minimal Anda akan menginginkan beberapa port 10 / 40GB atau infiniband yang merupakan pilihan termurah sejauh ini tetapi solusi penyimpanan asli untuk infiniband tampaknya terbatas. Masalahnya akan menjadi modul untuk bladecenter apa saja opsinya, biasanya 8gb fc atau 10 \ 1gbe dan mungkin infiniband. Perhatikan bahwa infiniband dapat digunakan dengan nfs dan tidak ada yang tertutup untuk itu dalam hal kinerja \ harga. jika pusat blade mendukung infiniband qdr saya akan melakukan itu dengan sejumlah host linux dengan infiniband qdr qdr via nfs. Berikut ini tautan yang bagus untuk menggambarkan http://www.zfsbuild.com/2010/04/15/why-we-chose-infiniband-instead-of-10gige

tetapi jika bladecenter dapat mendukung qdr infiniband dan Anda dapat membeli infiniband asli maka itu solusinya yang harus Anda pilih.

Saat ini Anda bisa mendapatkan switch 40gbe jauh lebih murah (itu pemikiran aneh) kemudian switch 10gbe tapi saya ragu Anda tengah blade akan mendukung itu.

Penyimpanan lokal habis? Saya cukup senang dengan throughput tulis pada RAID 5s lokal saya - dicerminkan dengan DRBD8 ke mitra-cluster mesin XEN saya ... (tapi ini "tidak didukung", tentu saja).

Selain itu, saya cukup yakin bahwa mySQL adalah masalah kinerja Anda (saya tidak pernah melihat DB yang lebih buruk). Cobalah untuk menghapusnya dan / atau mencoba untuk memasukkan seluruh DB ke dalam cache sistem file (untuk akses baca) ...