Saya memiliki dump SQL 32 GB yang sangat besar yang harus saya impor ke MySQL. Saya belum pernah mengimpor dump SQL yang besar sebelumnya. Saya melakukan yang biasa:

mysql -uroot dbname < dbname.sql

Itu terlalu lama. Ada meja dengan sekitar 300 juta baris, itu menjadi 1,5 juta dalam waktu sekitar 3 jam. Jadi, tampaknya semuanya akan memakan waktu 600 jam (24 hari) dan tidak praktis. Jadi pertanyaan saya adalah, adakah cara yang lebih cepat untuk melakukan ini?

Info / Temuan Lebih Lanjut

1. Tabelnya adalah semua InnoDB dan tidak ada kunci asing yang ditentukan. Namun, ada banyak indeks.
2. Saya tidak memiliki akses ke server dan DB asli sehingga saya tidak dapat membuat cadangan baru atau melakukan salinan "panas" dll.
3. Pengaturan innodb_flush_log_at_trx_commit = 2seperti yang disarankan di sini tampaknya tidak membuat peningkatan (terlihat jelas / eksponensial).
4. Statistik server selama impor (dari MySQL Workbench): https://imgflip.com/gif/ed0c8 .
5. Versi MySQL adalah 5.6.20 komunitas.
6. innodb_buffer_pool_size = 16M dan innodb_log_buffer_size = 8M. Apakah saya perlu menambah ini?

Vadim Tkachenko dari Percona membuat Representasi Pictorial InnoDB yang bagus ini

Anda pasti perlu mengubah yang berikut ini

innodb_buffer_pool_size = 4G
innodb_log_buffer_size = 256M
innodb_log_file_size = 1G
innodb_write_io_threads = 16
innodb_flush_log_at_trx_commit = 0

Mengapa pengaturan ini?

• innodb_buffer_pool_size akan melakukan cache data yang sering dibaca
• innodb_log_buffer_size : Buffer yang lebih besar mengurangi penulisan I / O ke Log Transaksi
• innodb_log_file_size : File log yang lebih besar mengurangi pos pemeriksaan dan menulis I / O
• innodb_write_io_threads : Layanan Tulis Operasi ke .ibdfile. Menurut Dokumentasi MySQL aktifConfiguring the Number of Background InnoDB I/O Threads , setiap utas dapat menangani hingga 256 permintaan I / O yang tertunda. Default untuk MySQL adalah 4, 8 untuk Percona Server. Max adalah 64.
• innodb_flush_log_at_trx_commit
  • Jika terjadi kerusakan, data 0 dan 2 dapat kehilangan satu detik data.
  • Yang menarik adalah 0 dan 2 meningkatkan kinerja penulisan.
  • Saya memilih 0 daripada 2 karena 0 memunculkan Buffer Log InnoDB ke Log Transaksi (ib_logfile0, ib_logfile1) sekali per detik, dengan atau tanpa komit. Pengaturan 2 menghapus Buffer Log InnoDB hanya pada komit. Ada keuntungan lain untuk pengaturan 0 yang disebutkan oleh @jynus, mantan instruktur Percona .

Mulai ulang mysql seperti ini

service mysql restart --innodb-doublewrite=0

Ini menonaktifkan Buffer Tulis InnoDB Double

Impor data Anda. Setelah selesai, mulai ulang mysql secara normal

service mysql restart

Ini mengaktifkan kembali Buffer Tulis InnoDB Double

Cobalah !!!

CATATAN SISI: Anda harus meningkatkan ke 5.6.21 untuk patch keamanan terbaru .

Apakah Anda benar-benar membutuhkan seluruh database untuk dipulihkan? Jika tidak, 2c saya:

Anda dapat mengekstrak tabel tertentu untuk melakukan pengembalian Anda pada "potongan". Sesuatu seperti ini:

zcat your-dump.gz.sql | sed -n -e '/DROP TABLE.*`TABLE_NAME`/,/UNLOCK TABLES/p' > table_name-dump.sql

Saya melakukannya sekali dan butuh waktu 10 menit untuk mengekstraksi tabel yang saya butuhkan - pemulihan penuh saya membutuhkan waktu 13 ~ 14 jam, dengan dump 35GB (gziped).

The /pattern/,/pattern/pdengan -nparameter membuat sepotong "antara pola" - termasuk mereka.

Bagaimanapun, untuk mengembalikan 35GB saya menggunakan mesin AWS EC2 (c3.8xlarge), menginstal Percona via yum (Centos) dan baru saja menambahkan / mengubah baris berikut pada my.cnf:

max_allowed_packet=256M
wait_timeout=30000

Saya pikir angkanya terlalu tinggi, tetapi berhasil untuk pengaturan saya.

Cara tercepat untuk mengimpor database Anda adalah dengan menyalin file (.frm, .MYD, .MYI) jika MyISAM, langsung ke / var / lib / mysql / "nama basis data".

Kalau tidak, Anda dapat mencoba: mysql > use database_name; \. /path/to/file.sql

Itulah cara lain untuk mengimpor data Anda.

salah satu cara untuk membantu mempercepat impor adalah dengan mengunci tabel saat mengimpor. gunakan opsi --add-locks ke mysqldump.

mysqldump --add-drop-table --add-locks --database db > db.sql

atau Anda bisa menyalakan beberapa parameter yang berguna dengan - opt ini menyalakan banyak hal berguna untuk dump.

mysqldump --opt --database db > db.sql

Jika Anda memiliki perangkat penyimpanan lain di server maka gunakan itu - menyalin dari satu perangkat ke perangkat lainnya adalah cara untuk mempercepat transfer.

Anda juga dapat memfilter tabel yang tidak diperlukan dengan --ignore-table