Bagaimana layanan dengan tingkat konsumsi yang besar menginstal cukup hard disk dengan cukup cepat?


13

Amazon, Facebook, dan Google harus menerima TB jika bukan PB per hari, jadi apakah itu berarti mereka membuat orang terus-menerus memasang hard disk dan kabel baru di rak baru dengan cara yang sama seperti membangun server biasa, atau adakah teknologi berbeda yang digunakan untuk menghubungkan drive secara massal?



Aspek lain yang perlu dipikirkan adalah tingkat kegagalan drive dengan penyimpanan sebanyak itu dan bagaimana mereka mengikutinya. Beberapa orang memperkirakan Google mungkin mengalami kegagalan drive baru di suatu tempat setiap menit.
Matt

Jawaban:


16

Saya tidak tahu apakah ada di antara mereka yang benar-benar menginstal perangkat keras satu server pada suatu waktu. Kembali pada tahun 2008 MS mulai membangun pusat data dengan memasukkan server yang dikirim dalam wadah pengiriman yang disegel dan pra-kabel dari server yang hanya perlu mereka bongkar dari truk dan sambungkan koneksi daya / jaringan ke dalamnya. Sedangkan build 08 adalah campuran kontainer dan tradisional untuk pusat data terbaru mereka mereka, mereka sudah pergi ke desain cetakan kustom yang tahan cuaca dan tidak perlu ditempatkan di dalam bangunan yang terpisah.

Baik HP dan IBM menjual paket serupa dengan wadah prebuilt yang penuh dengan server yang hanya perlu koneksi daya / data untuk digunakan.

Pusat Data Boyden Virginia milik Microsoft dengan modul-modul prefab terkena cuaca.


Bagi saya, inilah satu-satunya jawaban yang benar-benar menjawab pertanyaan awal. +1
mveroone

1
BTW, inilah sumber untuk gambar itu . Ini adalah pusat data Microsoft Azure di Virginia.
tedder42

Seseorang masih harus membangun / menghubungkan / menguji server kontainer pengiriman sekaligus dan google / facebook cenderung melakukan perangkat keras mereka sendiri.
Matt

@mindthemonkey yang dilakukan di pabrik yang sama menggunakan tenaga kerja Cina murah yang sama yang dipasang oleh server / blade biasa yang digunakan oleh kita semua.
Dan sedang mengutak-atik Firelight


7

Google memiliki beberapa teknologi yang mereka kembangkan secara internal untuk menyimpan massa data yang sangat besar ini. Dengan menggunakan teknologi ini mereka benar-benar dapat menambahkan banyak truk hard disk ke dalam cluster mereka tanpa downtime, tapi ya, mereka masih membutuhkan orang untuk melakukan itu.

Sejauh yang saya tahu dari Google Blog, dua bagian utama adalah Google File System, yang merupakan sistem file terdistribusi yang dapat meningkatkan skala hingga sangat besar: Google File System

Dan di atas Sistem File Google mereka memiliki Big Table yang merupakan semacam basis data Nilai Kunci dan juga skala menjadi skala besar: Big Table

Untuk menjamin ketersediaan tinggi, semuanya berlebihan berkali-kali, lebih dari 3 kali dalam kebanyakan kasus.


1
Saya pikir pertanyaannya lebih berorientasi pada perangkat keras, dan jawaban Anda sedikit di luar topik, tetapi ini adalah informasi yang baik untuk diketahui.
mveroone

5

Itu benar sekali. Saya ingat bahwa pada suatu waktu, pusat data Facebook menambahkan tiga traktor-trailer yang penuh dengan hard drive dan server rack-mount pada hari-hari biasa. Tentu saja, mereka memiliki skema rumit untuk membuat penyimpanan scalable dan redundan. Google, misalnya, memiliki GFS . Facebook memiliki tiga pusat data hanya untuk peralatan mereka, masing-masing lebih besar dari dua Wal-Mart dan yang baru direncanakan empat kali lebih besar dari pusat yang ada.


2

Dengan solusi penyimpanan Open Compute generasi baru yang dapat memuat 180 TB disk dalam 4 unit rak, PB sebenarnya bukan ruang yang sangat besar: menambahkan 1PB sehari berarti memeras 5 server seperti itu sehari, bukan masalah besar. Lebih baik lagi, ini bisa didapat sekitar $ 10K, yang berarti Anda membayar kurang dari $ 60 per TB.

Jadi ya, teknologi tersedia bagi kita semua untuk melakukan hal yang sama, dengan harga yang tidak merusak bank.

Tetapi Anda harus ingat bahwa perusahaan besar selalu mendapatkan kesepakatan yang lebih baik, dan menandatangani kontrak besar untuk mendapatkan penyimpanan dalam jumlah besar. Mereka mungkin mendapatkan pengiriman kecil yang tersebar sepanjang tahun, tetapi itu tidak seperti mereka memesan hanya 1PB sekaligus.


1
The spesifikasi lemari besi terbuka sedang online . Dengan drive 4TB, hingga 120TB dalam 2U.
Matt

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.