Apa kecepatan "baik" untuk iSCSI dan NFS lebih dari 1GB ethernet?

9

Saya memiliki kotak OpenSolaris yang membagikan dua sistem file ZFS. Salah satunya adalah koneksi NFS ke kotak CentOS yang menjalankan server VMware (gambar disk disimpan di ZFS). Yang lainnya adalah koneksi iSCSI ke server Windows 2008 dengan format NTFS di atas ZFS. Kedua koneksi langsung melalui gig-E (tanpa switch).

Saya menjalankan munin untuk memantau kotak-kotak itu, tetapi saya tidak yakin nomor apa yang seharusnya saya harapkan. Adakah yang bisa memberi saya beberapa angka dasar untuk dibandingkan atau memberikan saran tentang di mana harus mulai menyetel?

Berikut adalah statistik NFS yang saya lihat, saya akan memposting iSCSI setelah saya memperbaiki munin pada kotak solaris: P

antarmuka

klien nfs

— Sysadminicus
sumber

Unit apa yang Anda cari? KBPS? IO / dtk?

— WerkkreW

Aku bahkan tidak tahu harus mulai dari mana. Saya telah memperbarui pos dengan statistik yang saya miliki dari munin. Beri tahu saya jika ada tempat yang lebih baik untuk dilihat.

— Sysadminicus

12

Kami telah mendorong Sun X4100 menulis lebih dari GigE terikat dan iSCSI ke Sun X4500 ke 280MB / s.

Ada banyak yang dapat dilakukan untuk menyetel tumpukan TCP pada Solaris untuk membantu, ini saya konfigurasi penyetelan stok saya. (ambil dari beberapa koleksi whitepapers Sun):

$ cat /etc/rc3.d/S99ndd
#!/bin/bash

NDD=/usr/sbin/ndd

$NDD -set /dev/tcp tcp_xmit_hiwat 1048576
$NDD -set /dev/tcp tcp_recv_hiwat 8388608
$NDD -set /dev/tcp tcp_max_buf 8388608
$NDD -set /dev/udp udp_xmit_hiwat 1048576
$NDD -set /dev/udp udp_recv_hiwat 8388608
$NDD -set /dev/udp udp_max_buf 8388608
$NDD -set /dev/tcp tcp_conn_req_max_q 65536
$NDD -set /dev/tcp tcp_conn_req_max_q0 65536
$NDD -set /dev/tcp tcp_fin_wait_2_flush_interval 67500

Juga, layak untuk dilihat pada mesin OpenSolaris Anda adalah mengubah interval fsflush, penyesuaian "sihir" interupsi dan menonaktifkan cincin lembut. Tambahkan berikut ini ke / etc / system (diperlukan reboot):

* "fsflush" tuning
set tune_t_fsflushr = 5
set autoup = 300
* Disable the Automatic Interrupt Adjustment
set dld:dld_opt = 2
* Disable "soft rings"
set ip:ip_squeue_fanout = 0
set ip:ip_soft_rings_cnt = 0

Layak disebutkan, saya melakukan ini pada Solaris 10 - bukan OpenSolaris - tapi saya pikir tunables harus bekerja untuk Anda sama saja.

Saya penggemar berat Filebench karena bermain-main dengan opsi tuning dan melakukan tes throughput.

Rilis OpenSolaris 2009.06 yang baru saja dinamai sangat menarik di dunia iSCSI dan ZFS.

Semoga ini bisa membantu!

— jharley
sumber

3

Saya mendapatkan sekitar 90 MB / detik untuk array EMC AX150i saya melalui iSCSI pada ethernet 1GB.

— Brent Ozar
sumber

1

Untuk hanya satu dd atau bonnie ++ (kecepatan mentah, penulisan linier) Anda harus cukup dekat dengan kecepatan kawat.

Tapi bottleneck Anda akan menjadi array disk, setelah Anda mulai mendapatkan beban IO acak dari beberapa VM, jauh lebih banyak daripada transportasi.

Juga, jika Anda tidak memiliki cache tulis yang didukung baterai dengan jumlah RAM yang signifikan, kinerja Anda akan kawah segera setelah Anda mulai mendapatkan banyak penulisan dengan IO lain yang sedang terjadi.

— jwiz
sumber

0

Saya sudah bisa mendorong data melalui iSCSI hingga sekitar 200 Mbit / detik melalui tautan 1GB. Tapi saya punya 14 disk RAID 6 yang di-host oleh EMC CX4-240 dengan tidak banyak lagi menggunakan cache pada saat itu.

Hambatan terbesar mungkin adalah jumlah cache controller dan kecepatan disk (untuk saat cache penuh).

— mrdenny
sumber

1

Kami gagal dalam tahap perencanaan dengan menempatkan semua 12 disk pada pengontrol yang sama. Saya membayangkan bahwa memisahkan mereka di antara controller lain akan menjadi kemenangan kecepatan yang mudah bagi kita.

— Sysadminicus

Itu mungkin, itu semua tergantung di mana kemacetan itu. RAID 6 kami adalah pengontrol tunggal karena semuanya dalam satu rak. Tapi itu perangkat keras yang cukup canggih. Dimana kemacetannya? Anda mungkin hanya perlu meletakkan lebih banyak cache di controller dan / atau menetapkan persentase cache yang lebih tinggi sebagai cache tulis.

— mrdenny

Saya punya pengaturan yang sama (meskipun dengan AX4-5). Saya tidak menggunakan iSCSI, tapi saya mendapat transfer yang sangat cepat menggunakan protokol yang tidak dienkripsi antara dua mesin di SAN. Saya berharap saya tahu dokumen optimasi SAN yang bagus.

— Matt Simmons

0

Saya mendapatkan sekitar 80 MB / S ke server windows saya melalui ISCSI pada ethernet 1G. Target: KernSafe iStorage Server http://www.kernsafe.com/Product.aspx?id=5 Penggagas: Pemrakarsa Microsoft www.microsoft.com/downloads/details.aspx?familyid=12cb3c1a-15d6-4585-b385-befd1319f825&displaylang= id

Hardisk: ATA 7200

0

Bagi kita yang lebih dekat ke hal-hal semi-pro (daripada pro) saya mendapatkan 150MB konstan dan konsisten membaca 120MB menulis dari server W2012 dual 1GB nic bekerja sama melalui draytek dikelola beralih ke blackarmorsnas melalui tembaga RJ45, transfer tunggal file 20GB. Tidak ada operasi simulatan lainnya selama tes. Untuk mencapai ini saya menggunakan frame jumbo 9k, rx & tx flow, yaitu semua optimisasi driver normal, tetapi tidak ada tweak selain menghidupkan dan menaikkan frame jumbo ke max.

— pengguna174818
sumber