Logging merusak kinerja MySQL - tetapi, mengapa?

Saya cukup terkejut bahwa saya tidak dapat melihat jawaban untuk ini di mana pun di situs sudah, atau dalam dokumentasi MySQL ( bagian 5.2 tampaknya memiliki logging kalau tidak tertutup dengan baik!)

Jika saya mengaktifkan binlog, saya melihat hit kinerja kecil (subyektif), yang diharapkan dengan sedikit IO tambahan - tetapi ketika saya mengaktifkan log kueri umum, saya melihat hit kinerja yang luar biasa (dua kali lipat waktu menjalankan kueri, atau lebih buruknya), jauh melebihi apa yang saya lihat dengan binlog. Tentu saja saya sekarang mencatat setiap SELECT dan juga setiap UPDATE / INSERT, tetapi, daemon lain mencatat setiap permintaan mereka (Apache, Exim) tanpa berhenti.

Apakah saya hanya melihat efek dari dekat dengan "titik kritis" kinerja ketika datang ke IO, atau ada sesuatu yang secara mendasar sulit tentang logging kueri yang menyebabkan ini terjadi? Saya ingin dapat mencatat semua permintaan untuk membuat pengembangan lebih mudah, tetapi saya tidak dapat membenarkan jenis perangkat keras yang rasanya seperti kita perlu untuk mendapatkan kinerja kembali dengan permintaan log masuk umum.

Saya, tentu saja, mencatat permintaan lambat, dan ada peningkatan yang dapat diabaikan dalam penggunaan umum jika saya menonaktifkan ini.

(Semua ini ada di Ubuntu 10,04 LTS, MySQLd 5.1.49, tetapi penelitian menunjukkan ini adalah masalah yang cukup universal)

Log kueri umum jauh lebih banyak IO daripada log biner. Selain fakta bahwa sebagian besar server SQL 90% membaca hingga 10% menulis, log biner disimpan dalam format biner daripada teks biasa yang menggunakan lebih sedikit ruang disk. (Berapa jauh lebih sedikit ruang? Aku tidak yakin. Maaf.)

Ada dua aspek mengapa Apache dan Exim dapat merekam setiap permintaan tanpa dampak kinerja yang signifikan. Yang pertama adalah bahwa mereka mencatat fakta bahwa permintaan terjadi tetapi apa yang mereka masukkan ke dalam log biasanya jauh lebih kecil dari permintaan yang sebenarnya. Permintaan HTTP seringkali dua kali lebih besar dari garis yang masuk dalam log dan bahkan email teks pendek yang pendek 10 atau 20 kali lebih besar dari garis log yang menyertainya. Email dengan lampiran 10MB masih hanya memiliki beberapa baris tertulis di log.

Bagian kedua dari ini adalah bahwa dalam aplikasi web normal biasanya ada puluhan query SQL yang terkait dengan satu halaman HTTP. Email cenderung datang dalam jumlah yang lebih kecil daripada permintaan HTTP. Server MySQL Anda mungkin mencoba untuk login lebih dari Apache atau Exim.

Lihatlah ukuran (tidak terkompresi) dari log biner dan umum MySQL Anda dan log Apache dan Exim Anda pada akhir hari. Saya yakin Anda menemukan log umum MySQL adalah yang terbesar dengan faktor setidaknya 5.

Untuk menambah jawaban yang disediakan , Anda juga akan melihat performa yang baik jika Anda masuk ke perangkat yang sama dengan penyimpanan data MySQL Anda - jika itu disk yang sama, Anda akan membaca dan menulis ke beberapa lokasi sepanjang waktu, memperlambat seluruh proses.

Ini benar bahkan jika itu partisi yang berbeda pada disk fisik yang sama.

Jika masuk ke perangkat lain, itu akan meringankan beberapa masalah kinerja.