Meja besar
Sistem Penyimpanan Terdistribusi untuk Data Terstruktur
Bigtable adalah sistem penyimpanan terdistribusi (dibangun oleh Google) untuk mengelola data terstruktur yang dirancang untuk skala ke ukuran yang sangat besar: petabyte data di ribuan server komoditas.
Banyak proyek di Google menyimpan data di Bigtable, termasuk pengindeksan web, Google Earth, dan Google Finance. Aplikasi ini menempatkan tuntutan yang sangat berbeda pada Bigtable, baik dalam hal ukuran data (dari URL ke halaman web ke citra satelit) dan persyaratan latensi (dari pemrosesan massal backend ke penyajian data waktu-nyata).
Terlepas dari berbagai tuntutan ini, Bigtable telah berhasil memberikan solusi fleksibel dan berkinerja tinggi untuk semua produk Google ini.
Beberapa fitur
- DBMS yang cepat dan sangat besar
- peta tersortir multi-dimensi yang jarang dan terdistribusi, berbagi karakteristik dari database berorientasi baris dan berorientasi kolom.
- dirancang untuk skala ke kisaran petabyte
- ini bekerja di ratusan atau ribuan mesin
- mudah untuk menambahkan lebih banyak mesin ke sistem dan secara otomatis mulai mengambil keuntungan dari sumber daya tersebut tanpa konfigurasi ulang
- setiap tabel memiliki beberapa dimensi (salah satunya adalah bidang waktu, memungkinkan versi)
- tabel dioptimalkan untuk GFS (Google File System) dengan dipecah menjadi beberapa tablet - segmen tabel dibagi menjadi satu baris yang dipilih sehingga tablet akan berukuran ~ 200 megabyte.
Arsitektur
BigTable bukan basis data relasional. Itu tidak mendukung bergabung juga tidak mendukung pertanyaan kaya seperti SQL. Setiap tabel adalah peta jarang multidimensi. Tabel terdiri dari baris dan kolom, dan setiap sel memiliki cap waktu. Mungkin ada beberapa versi sel dengan prangko waktu yang berbeda. Cap waktu memungkinkan untuk operasi seperti "pilih 'n' versi halaman Web ini" atau "hapus sel yang lebih tua dari tanggal / waktu tertentu."
Untuk mengelola tabel besar, Bigtable membagi tabel pada batas baris dan menyimpannya sebagai tablet. Sebuah tablet berukuran sekitar 200 MB, dan setiap mesin menyimpan sekitar 100 tablet. Pengaturan ini memungkinkan tablet dari satu tabel tersebar di banyak server. Hal ini juga memungkinkan penyeimbangan muatan berbutir halus. Jika satu meja menerima banyak pertanyaan, ia bisa melepaskan tablet lain atau memindahkan tabel sibuk ke mesin lain yang tidak terlalu sibuk. Juga, jika sebuah mesin mati, sebuah tablet dapat tersebar di banyak server lain sehingga dampak kinerja pada mesin yang diberikan adalah minimal.
Tabel disimpan sebagai SSTable yang tidak dapat diubah dan satu ekor log (satu log per mesin). Ketika mesin kehabisan memori sistem, kompres beberapa tablet menggunakan teknik kompresi milik Google (BMDiff dan Zippy). Kompaksi kecil hanya melibatkan beberapa tablet, sementara kompaksi besar melibatkan seluruh sistem tabel dan memulihkan ruang hard disk.
Lokasi tablet Bigtable disimpan dalam sel. Pencarian tablet tertentu ditangani oleh sistem tiga tingkat. Klien mendapatkan poin ke tabel META0, yang hanya ada satu. Tabel META0 melacak banyak tablet META1 yang berisi lokasi tablet yang dicari. Baik META0 dan META1 menggunakan pre-fetching dan caching untuk meminimalkan kemacetan dalam sistem.
Penerapan
BigTable dibangun di Google File System (GFS), yang digunakan sebagai backing store untuk file log dan data. GFS menyediakan penyimpanan yang andal untuk SSTables, format file milik Google yang digunakan untuk mempertahankan data tabel.
Layanan lain yang BigTable manfaatkan adalah Chubby , layanan kunci terdistribusi yang sangat tersedia dan dapat diandalkan. Chubby memungkinkan klien untuk mengambil kunci, mungkin mengaitkannya dengan beberapa metadata, yang dapat diperbarui dengan mengirim pesan yang tetap hidup kembali ke Chubby. Kunci disimpan dalam struktur penamaan hirarki seperti filesystem.
Ada tiga jenis server utama yang diminati dalam sistem Bigtable:
- Master server: menetapkan tablet ke server tablet, melacak di mana tablet berada dan mendistribusikan tugas yang diperlukan.
- Server tablet: menangani permintaan baca / tulis untuk tablet dan memecah tablet saat melebihi batas ukuran (biasanya 100MB - 200MB). Jika server tablet gagal, maka 100 server tablet masing-masing mengambil 1 tablet baru dan sistem pulih.
- Server kunci: contoh layanan kunci terdistribusi Chubby. Banyak tindakan dalam BigTable yang memerlukan penguncian kunci termasuk membuka tablet untuk menulis, memastikan bahwa tidak ada lebih dari satu Master aktif pada satu waktu, dan pengecekan kontrol akses.
Contoh dari makalah penelitian Google:
Sepotong tabel contoh yang menyimpan halaman web. Nama baris adalah
URL terbalik . Keluarga kolom isi berisi konten halaman , dan keluarga kolom anchor berisi
teks dari setiap jangkar yang mereferensikan halaman. Halaman beranda CNN direferensikan oleh halaman beranda Sports Illustrated dan MY-look, sehingga baris tersebut berisi kolom bernama
anchor:cnnsi.comdan
anchor:my.look.ca. Setiap sel jangkar memiliki satu versi ; kolom isi memiliki tiga versi , di cap waktu
t3, t5dan t6.
API
Operasi khas untuk BigTable adalah pembuatan dan penghapusan keluarga tabel dan kolom, menulis data dan menghapus kolom dari satu baris. BigTable menyediakan fungsi ini untuk pengembang aplikasi dalam API. Transaksi didukung di tingkat baris, tetapi tidak di beberapa kunci baris.
Berikut ini tautan ke PDF makalah penelitian .
Dan di sini Anda dapat menemukan video yang memperlihatkan Jeff Dean dari Google dalam sebuah kuliah di University of Washington , membahas sistem penyimpanan konten Bigtable yang digunakan di backend Google.
