Bagaimana situs besar seperti StackOverflow menangani log akses mereka?

8

Saya bertanya-tanya bagaimana situs besar seperti StackOverflow menangani log akses mereka. Menulis ke disk pada setiap permintaan tampaknya sedikit tidak ekonomis, tetapi apakah Google Analytics dapat diandalkan untuk menggunakannya sebagai satu-satunya sumber informasi Anda?

— Stephen Ostermiller
sumber

Anda dapat mengatur Apache untuk login ke database. Saya membayangkan IIS adalah sama.

— Lèse majesté

2

Pada sistem * nix, Anda dapat menggunakan syslog-ng untuk menyimpan pesan log pada server log khusus untuk kluster beban-seimbang Anda dan kemudian menggunakan solusi analisis log seperti Splunk untuk mengawasi hal-hal - seperti apa situs StackExchange benar-benar berjalan, mungkin pertanyaan yang bagus untuk StackOverflow Meta .

— danlefree
sumber

Adakah yang belum bertanya apa yang digunakan pertukaran pertukaran?

— theonlygusti

2

Ada banyak informasi yang berisi log server web yang tidak akan pernah tersedia untuk Google Analytics, dua hal yang dapat saya pikirkan:

Kesalahan seperti 404, dll.
Akses pada file media, seperti gambar, dll. (Termasuk situs web eksternal yang terhubung ke gambar Anda)
Alamat IP, meskipun jawaban untuk pertanyaan lain menunjukkan bahwa itu dapat ditetapkan sebagai variabel pengguna
URL rujukan panjang penuh, misalnya Google mengirimkan tautan dari pencarian produk, pencarian web, dll. Setiap pencarian memiliki kata kunci tetapi Google Analytics tidak menampilkan variabel lain seperti &source=products, dll.

Pasti lebih banyak barang yang tidak bisa saya pikirkan saat ini.

Dan ada juga log kesalahan; harus penting agar situs web berjalan dengan lancar, menurut saya. Bukan sesuatu yang akan Anda abaikan.

— Evgeny
sumber

Itu benar, tetapi bagaimana mereka menyimpan log mereka? File atau basis data seperti yang disarankan oleh Lèse majesté nampak berat bagi saya.

Sebenarnya, ketika Anda gzip data berulang semacam ini ... itu kompres dengan sangat baik. Jadi saya bayangkan Anda bisa menyimpannya sebagai file teks terkompresi dan menghapusnya setelah beberapa saat ... hanya rotasi dasar Anda.

— Evgeny

0

Saya tidak benar-benar melihat log ini dan akhirnya menghapusnya setiap bulan. Saya hanya melihat mereka untuk masalah pengambilan gambar. Adapun aplikasi pemantauan menggunakan Google Analytics, CrazyEgg dan yang lainnya melakukan pekerjaan dengan baik.

Sebelum layanan tersebut ada, log ini sangat berharga. Sekarang, mereka adalah alat pengembang yang baik, tetapi saya tidak tahu ada kolega atau teman saya yang secara aktif mengarsipkan log ini atau menguraikannya untuk data.

— jujur
sumber