Bagaimana layanan dengan tingkat konsumsi yang besar menginstal cukup hard disk dengan cukup cepat?

Amazon, Facebook, dan Google harus menerima TB jika bukan PB per hari, jadi apakah itu berarti mereka membuat orang terus-menerus memasang hard disk dan kabel baru di rak baru dengan cara yang sama seperti membangun server biasa, atau adakah teknologi berbeda yang digunakan untuk menghubungkan drive secara massal?

Saya tidak tahu apakah ada di antara mereka yang benar-benar menginstal perangkat keras satu server pada suatu waktu. Kembali pada tahun 2008 MS mulai membangun pusat data dengan memasukkan server yang dikirim dalam wadah pengiriman yang disegel dan pra-kabel dari server yang hanya perlu mereka bongkar dari truk dan sambungkan koneksi daya / jaringan ke dalamnya. Sedangkan build 08 adalah campuran kontainer dan tradisional untuk pusat data terbaru mereka mereka, mereka sudah pergi ke desain cetakan kustom yang tahan cuaca dan tidak perlu ditempatkan di dalam bangunan yang terpisah.

Baik HP dan IBM menjual paket serupa dengan wadah prebuilt yang penuh dengan server yang hanya perlu koneksi daya / data untuk digunakan.

Google memiliki beberapa teknologi yang mereka kembangkan secara internal untuk menyimpan massa data yang sangat besar ini. Dengan menggunakan teknologi ini mereka benar-benar dapat menambahkan banyak truk hard disk ke dalam cluster mereka tanpa downtime, tapi ya, mereka masih membutuhkan orang untuk melakukan itu.

Sejauh yang saya tahu dari Google Blog, dua bagian utama adalah Google File System, yang merupakan sistem file terdistribusi yang dapat meningkatkan skala hingga sangat besar: Google File System

Dan di atas Sistem File Google mereka memiliki Big Table yang merupakan semacam basis data Nilai Kunci dan juga skala menjadi skala besar: Big Table

Untuk menjamin ketersediaan tinggi, semuanya berlebihan berkali-kali, lebih dari 3 kali dalam kebanyakan kasus.

Itu benar sekali. Saya ingat bahwa pada suatu waktu, pusat data Facebook menambahkan tiga traktor-trailer yang penuh dengan hard drive dan server rack-mount pada hari-hari biasa. Tentu saja, mereka memiliki skema rumit untuk membuat penyimpanan scalable dan redundan. Google, misalnya, memiliki GFS . Facebook memiliki tiga pusat data hanya untuk peralatan mereka, masing-masing lebih besar dari dua Wal-Mart dan yang baru direncanakan empat kali lebih besar dari pusat yang ada.

Dengan solusi penyimpanan Open Compute generasi baru yang dapat memuat 180 TB disk dalam 4 unit rak, PB sebenarnya bukan ruang yang sangat besar: menambahkan 1PB sehari berarti memeras 5 server seperti itu sehari, bukan masalah besar. Lebih baik lagi, ini bisa didapat sekitar $ 10K, yang berarti Anda membayar kurang dari $ 60 per TB.

Jadi ya, teknologi tersedia bagi kita semua untuk melakukan hal yang sama, dengan harga yang tidak merusak bank.

Tetapi Anda harus ingat bahwa perusahaan besar selalu mendapatkan kesepakatan yang lebih baik, dan menandatangani kontrak besar untuk mendapatkan penyimpanan dalam jumlah besar. Mereka mungkin mendapatkan pengiriman kecil yang tersebar sepanjang tahun, tetapi itu tidak seperti mereka memesan hanya 1PB sekaligus.

Berikut adalah posting blog yang menarik dari BackBlaze tentang bagaimana mereka melakukan ini (mereka terbukti tidak membutuhkan banyak disk seperti Google atau Facebook, tetapi masih lengkap), dan apa yang perlu mereka lakukan ketika ada banjir di Thailand yang membuat harddisk mahal dan sulit didapat:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/