Cara membangun jaringan area lokal yang cepat

35

Saya bekerja dalam produksi film dan membutuhkan akses SANGAT cepat ke file rekaman mentah yang sangat besar. Saya saat ini menggunakan dok eSATA 6Gbps untuk hard drive internal, yang berjalan secepat drive akan pergi.

Jika saya menggunakan server dan terhubung ke workstation saya melalui jaringan, teknologi apa (yang relatif terjangkau) yang memungkinkan saya untuk mendekati, atau melebihi kecepatan drive?

networking lan

— Ben
sumber

12

10Gbps ethernet adalah rentang "terjangkau jika Anda memiliki anggaran" hari ini. Namun, 8 atau 16Gbps SAN (jaringan area penyimpanan - alias fiberchannel) mungkin lebih cocok untuk penggunaan tertentu?

— Ecnerwal

3

Ini dirancang khusus / dioptimalkan untuk jaringan penyimpanan.

— Ecnerwal

3

Hanya ingin memeriksa - apakah Anda menggunakan SSD? Jika tidak, itu merupakan peningkatan penting.

— trpt4him

1

Saya melihat tidak ada nilai tambah dari SAN dibandingkan dengan NAS yang lebih sederhana dan lebih murah di sini.

— jiggunjer

3

Untuk menjawab ini dengan benar, diperlukan lebih banyak info: jumlah data mana yang harus disimpan, berapa banyak pengguna secara bersamaan, dari mana data diakses (jenis mesin apa)? Jaringan 100Gbs tidak akan membantu jika diakses dari mesin 2 atau 3 dengan adaptor jaringan 1Gbs.

— JFL

31

Di sini di awal 2017, dilihat dari informasi yang tersedia secara online, sepertinya HDD SATA tercepat maks sekitar 220 MegaBytes / detik, yaitu 1,760 Gigabits / detik.

Jadi, jika Anda hanya mencoba untuk mengalahkan kecepatan satu drive, dan Anda terbatas pada HDD untuk pertimbangan biaya per terabyte untuk file video besar, 10 Gigabit Ethernet cukup banyak.

Sebagai tambahan, perhatikan bahwa Thunderbolt Networking adalah 10 Gigabit / detik juga, jadi jika Anda sudah memiliki port Thunderbolt, Anda dapat melakukan percobaan dengan itu. Bisa dibayangkan mengalahkan port 6 Gigabit eSATA 3 Anda, meskipun saya tidak yakin tentang itu karena eSATA sangat spesifik untuk penyimpanan, sedangkan melakukan penyimpanan melalui Ethernet memiliki lebih banyak overhead. Perhatikan juga bahwa Thunderbolt adalah bus desktop; hanya mencapai beberapa meter, bukan 100m yang dapat ditangani oleh 10 Gigabit Ethernet. Jadi, sementara Thunderbolt mungkin menarik untuk bereksperimen dan membuat prototipe saat Anda menimbang pilihan Anda, itu mungkin bukan solusi jangka panjang yang tepat untuk Anda kecuali Anda ingin menjaga semua workstation dan disk Anda terhubung secara berurutan di sekitar meja besar.

Jadi itu untuk HDD tunggal. Tetapi jika Anda RAID drive tersebut bersama-sama sehingga setiap membaca atau menulis tersebar di beberapa drive, Anda bisa mendapatkan kinerja yang jauh lebih baik daripada kinerja drive tunggal. Selain itu, tergantung pada anggaran Anda, Anda dapat memasukkan PCIe / M.2 NVME SSD ke PC untuk bertindak sebagai server / NAS, dan Anda bisa mendapatkan kinerja penyimpanan yang sangat cepat (sekitar 3,4 GigaByte / detik == 27 gigabit / detik) per mendorong.

Dalam hal ini Anda mungkin ingin melihat sesuatu yang lebih cepat dari 10 Gigabit Ethernet, tetapi melihat-lihat online, sepertinya harga melonjak cukup dramatis di luar 10 Gigabit Ethernet. Jadi, Anda mungkin ingin melakukan agregasi tautan di beberapa tautan 10Gigabit. Saya juga melihat beberapa anekdot online yang menggunakan peralatan jaringan, seperti barang InfiniBand 40Gbps bekas, dapat dibeli di eBay dengan harga murah, jika Anda tidak keberatan dengan kerepotan yang datang dengan membeli perlengkapan bekas di eBay.

— Spiff
sumber

1

Bagaimana dengan beberapa NIC + ikatan 10Gbit?

— André Borie

2

ikatan memungkinkan untuk memiliki aliran terpisah menggunakan tautan fisik yang berbeda, tetapi aliran tunggal akan menggunakan hanya satu NIC. Jadi ini akan berguna ketika beberapa file disajikan ke orang yang berbeda secara bersamaan, tetapi tidak akan menambah bandwidth untuk akses file tunggal.

— JFL

4

@JohnU Tidak, Ethernet 94% efisien dengan frame standar 1500 byte, dan bahkan lebih baik dengan frame jumbo. Saya secara rutin melihat 930+ Mbps dari throughput tanpa mencoba. Gigabit Ethernet tidak memungkinkan hub, hanya sakelar, jadi selalu dupleks penuh dan karenanya tidak pernah bertabrakan.

— Spiff

1

@JFL Ethernet bonding (agregasi tautan IEEE 802.3ad) mendistribusikan paket paket per paket, bukan per-aliran. Karena teknologi jaringan umumnya dirancang dalam lapisan diskrit, Ethernet (lapisan 2, lapisan tautan data) tidak memiliki gagasan tentang protokol di atasnya seperti IP atau TCP, sehingga tidak memiliki gagasan tentang aliran.

— Spiff

2

Agregasi @JFL Linux tentu saja dapat menggunakan beberapa informasi layer3 + (Linux dapat melakukan banyak hal yang tidak biasa), harap diingat Anda benar-benar membutuhkan kedua belah pihak untuk mendukung metode ikatan yang sama agar bermanfaat. Jika Anda terhubung ke switch, maka Anda benar-benar dapat menggunakan apa yang didukung switch.

— Zoredache

5

Jika Anda tetap menggunakan disk SATA, menerapkan ethernet 10Gb dan membangun RAID10 berukuran cukup pada server akan memberi Anda peningkatan kinerja yang nyata di luar disk SATA. Ini akan menjadi investasi yang layak karena Anda dapat berbagi server di antara banyak workstation yang Anda butuhkan, dan menambahkan di masa depan dengan menambahkan switch. Anda harus menjalankan kabel ethernet Cat-6, karena Cat-5E tidak akan memotongnya - jangan lupa menambahkan biaya ini ke perhitungan Anda. Anda juga dapat menambahkan SSD sebagai cache untuk mempercepat sistem lebih jauh; karena Anda bekerja dengan rekaman video, saya berasumsi Anda membutuhkan ruang penyimpanan dalam jumlah besar, yang akan sangat mahal untuk dibuat murni dengan SSD.

Anda dapat membeli server rackmount yang dibuat sebelumnya dari Dell atau HP dan menggunakan kartu RAID perangkat keras, atau jika Anda lebih menyukai perangkat keras, Anda dapat membeli sasis yang lebih murah dari Supermicro dan membangun sendiri mesin penyimpanan, menggunakan perangkat lunak RAID dalam baik Windows atau Linux. RAID perangkat keras seringkali lebih cepat ketika RAID1 terlibat, karena perangkat lunak harus menulis ke setiap disk secara bergantian dan menunggu penulisan selesai sebelum pindah ke operasi berikutnya; kartu RAID umumnya dapat menulis ke kedua disk secara paralel, dan melakukan cache operasi penulisan, mengembalikan kontrol ke OS dengan segera. Namun, perlu diketahui bahwa meskipun RAID0 akan lebih cepat, Anda tidak memiliki redundansi dan satu kegagalan drive akan menyebabkan hilangnya data lengkap; jangan pernah menggunakan RAID0 saat Anda memiliki data yang ingin Anda simpan.

Pada akhir skala Anda memiliki Storage Area Networks (SANs) tetapi ini dirancang untuk memungkinkan banyak operasi dari sejumlah besar klien terpisah secara paralel; manfaat dari ini adalah bahwa throughput sangat tinggi untuk sejumlah kecil mesin yang terhubung, tetapi kemungkinan terlalu banyak untuk kebutuhan Anda, dan sangat mahal. Pada akhirnya, Anda memiliki perangkat Network Attached Storage (NAS) yang orang lain sebutkan, tetapi meskipun jauh lebih sederhana daripada server lengkap, saya tidak merekomendasikan mereka karena NAS sering berupa kotak hitam; mereka dirancang untuk menjadi plug & play untuk sebagian besar pengguna, dan sebagai hasilnya Anda memiliki sedikit kontrol atas OS - Saya hanya perlu mengirim kembali NAS kecil yang saya beli untuk kantor klien karena menjadi tidak stabil setelah penggunaan sehari.

Keuntungan lain untuk membangun server adalah Anda memusatkan semua rekaman Anda di satu tempat, yang membuatnya praktis dan relatif mudah untuk mencadangkannya secara teratur. Jangan pernah mengabaikan strategi cadangan Anda; suatu hari Anda harus bergantung padanya!

— Gargravarr
sumber

3

"Perangkat lunak harus menulis ke setiap disk secara bergantian dan menunggu penulisan selesai sebelum melanjutkan ke operasi selanjutnya". Itu tidak benar selama beberapa dekade; bahkan disk non-server saat ini mendukung antrian perintah. Dan sebenarnya, dengan perangkat lunak DMA tidak perlu menunggu. Itu telah didukung di desktop sejak 1998 atau lebih.

— MSalters

Mungkin perlu dicatat bahwa meskipun kalimat pertama Anda berlaku untuk satu pengguna, 10GB bandwidth yang dibagikan berarti bahwa dengan beberapa pengguna mencoba mengakses berbagi secara bersamaan, masing-masing bandwidth pada akhirnya akan turun di bawah level SATA pengguna tunggal.

— Dan Neely

2

NAS bukan perangkat khusus menurut definisi, Anda dapat memiliki PC Linux normal dengan samba atau NFS dan menyebutnya NAS. Perbedaan utama adalah berbagi tingkat file vs berbagi tingkat blok. Perangkat blok hanya dapat digunakan oleh satu klien pada satu waktu. SAN juga lebih mahal dan membutuhkan waktu lebih lama / lebih banyak pengetahuan untuk dikonfigurasi.

— jiggunjer

@ jiggunjer Sangat benar, tetapi kebanyakan orang yang membangun PC dengan Samba akan menyebutnya server file, bukan NAS. Saya hanya bermain di teknis berarti perangkat tujuan khusus. Juga sangat benar tentang SAN, itu sebabnya saya menggolongkannya sebagai berlebihan.

— Gargravarr

@Benar-benar saja, karena lebih banyak klien ditambahkan dengan akses simultan, kecepatan ke setiap workstation akan menurun, tetapi laju total data yang keluar dari server harus tetap sangat tinggi. Menambah dengan cache SSD dapat mengkompensasi sebagian besar dari ini.

— Gargravarr

3

Tidak ada yang mengalahkan fleksibilitas 10gbe dan kemudahan konfigurasi, tetapi SAS secara mengejutkan dapat terhubung dengan jaringan sendiri:

Untuk sejumlah kecil workstation (n <8) di mana volume tidak perlu ditulis dari beberapa komputer sekaligus, SAS berfungsi dengan baik. Dengan Tyan JBOD ($ 1.500) dan LSI HBA ($ 400), kami mendapatkan 3.400 MB / s (27 Gbps) transfer berkelanjutan ke SSD. JBOD memiliki sakelar internal dengan 3 uplink ke HBA, tetapi sakelar SAS tersedia untuk jumlah port yang lebih tinggi.

Berikut ini adalah tes kecepatan salah satu volume kami:

Secara internal, kami menggunakan solusi ini dengan Clustered Windows Server yang menjalankan Storage Spaces yang didistribusikan ke klien dengan 10gbe.

— Mitch
sumber

2

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -Produk

Pertama, M.2 SSD yang diberikan motherboard yang benar dapat mencapai 2gb-4gb / s, dan mungkin lebih tinggi. RAID beberapa dari ini bersama-sama, dan kecepatan Anda bahkan lebih tinggi.

Mengembangkan banyak NIC 10GB bisa membuat Anda mendekati kecepatan asli.

Lebih dari 10g adalah lebih banyak uang.

40 gigabit NIC https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&gclid=Cj0KEQiA9P7FBRCtoO33_LGUtPQBEiQAU_tBgIU2jZrJKf0kXF07A0A0

— cybernard
sumber

Naik di atas 10gb juga cenderung menempatkan kecepatan bus lokal di tempat kejadian sebagai faktor pembatas :) Slot PCI-express 2.0 x16 secara teoritis 64GBit / s - tetapi overhead di semua sisi (bus ke memori, perangkat lunak driver ke memori, beban cpu ...) akan menggerogoti yang cukup dekat dengan tempat Anda dapat merasa senang jika 10GB Anda berjalan pada kecepatan baris ...

— rackandboneman

2

@rackandboneman: Itu sebabnya Anda memiliki NIC yang pintar. Ethernet 10Gb / s adalah kecepatan mentah. Header Ethernet, IP dan TCP dapat ditangani oleh NIC, meninggalkan CPU untuk hanya menangani data nyata.

— MSalters

JIKA mekanisme pembongkaran bekerja dalam kombinasi dengan skenario aplikasi Anda - dan sementara mereka mengurangi penggunaan CPU, mereka tidak akan mengurangi volume data yang signifikan kecuali jika banyak lalu lintas sampah di tempat pertama ...

— rackandboneman

@rackandboneman PCIe 3.0 x16 ada sehingga kecepatan bisa dua kali lipat dari itu.

— cybernard

10gbe bisa jauh lebih murah dari itu: Mellanox nic seharga $ 180 dan 25gbe tutup Mellanox 25gbe seharga $ 300 . Apa yang membunuh Anda adalah biaya port pada switch, tetapi eBay atau jaring penuh membuat masalah itu hilang.

— Mitch

0

Gunakan kartu ethernet serat dengan sakelar serat, idealnya multimode atau mode tunggal dengan bantalan. Jika Anda memiliki anggaran, Anda dapat membuat semuanya 10gbps, jika Anda menggunakan agregasi tautan dengan kartu serat port ganda, Anda bisa mendapatkan 20gbps. Karena istilah "relatif terjangkau" berubah tergantung pada apa anggaran Anda, angka aktual tentang apa yang ingin Anda belanjakan akan sangat membantu.

— Cerah
sumber

0

Cara termurah adalah dengan menggunakan agregasi tautan (IE menjalankan kabel N, biasanya 2) alih-alih satu.

Dengan cara ini tautan 1Gb yang murah menjadi tautan 2Gb.

Jelas itu berarti Anda memerlukan setidaknya 4 port untuk satu server klien.

— Antzi
sumber

dan klien membutuhkan 2 port ... Apakah switch sederhana berfungsi dengan ini? atau haruskah itu menjadi tautan langsung?

— jiggunjer

@jiggunjer saklar sederhana dapat digunakan untuk itu tetapi Anda memerlukan konfigurasi khusus pada semua komputer / server yang menggunakan skema ini

— Antzi

apakah agregasi ini sama dengan ikatan yang disebutkan dalam komentar jawaban oleh @Spiff? Dalam hal ini bandwidth tidak meningkat untuk akses file tunggal ...

— jiggunjer

@ jiggunjer Ini sebenarnya berkaitan dengan bagaimana Anda melakukan pengaturan, jadi saya tidak bisa menjawab.

— Antzi

1

@FlorianCastellane terbaru murah yang saya beli tidak. Tergantung dari spesifikasi

— Antzi