Ketika mencoba memblokir bot dapat membantu membebaskan sumber daya dan membersihkan log Anda, penting untuk dicatat bahwa robots.txt dan bahkan menggunakan tag meta pada halaman noindex sebenarnya tidak menghentikan bot mengunjungi situs Anda. Mereka masih dapat menjelajah situs Anda sesekali untuk melihat apakah yang ditolak dari robot telah dihapus. Banyak bot bahkan tidak menggunakan agen pengguna dan akan menggunakan agen pengguna standar. Bot yang saya maksudkan adalah bot pemanen SEO yang memindai backlink dan bukan yang umum yang Anda temukan dari mesin pencari.
Alih-alih memblokir bot Anda harus mempertimbangkan faktor bot ini ketika menghitung pengunjung Anda, setelah beberapa saat aktif memantau situs Anda, Anda membangun angka kasar yang bot. Kebanyakan orang peduli dengan kunjungan unik dan ini mengesampingkan bot karena mereka selalu kembali. Di zaman sekarang ini ada banyak server, shared hosting yang dapat menangani bot ini, jadi selain halaman yang tidak ingin Anda indeks, saya tidak melihat alasan mengapa memblokir jenis bot ini. Tentu saja Anda memiliki bot berbahaya juga, tetapi ini tentu saja tidak akan menggunakan agen pengguna;).
Secara pribadi saya percaya memblokir robot adalah buang-buang waktu karena mereka tidak menggunakan banyak sumber daya sama sekali, robot SEO dapat membantu karena mereka mendaftar situs Anda pada halaman PR0 yang tentu saja meningkatkan PageRank Anda dan ada otomatis sehingga Anda tidak akan dihukum oleh mereka.
Masalah log
Anda harus menggunakan penampil log yang tepat yang memungkinkan Anda untuk menyaring permintaan tertentu, ini membuatnya lebih mudah saat meninjau log Anda. Pemirsa yang baik dapat menyaring banyak hal seperti kunjungan normal, 404-an, dan sebagainya.