Saya telah menggunakan baris berikut di <head>situs saya selama bertahun-tahun:
<meta name="revisit-after" content="3 days" />
Baru-baru ini saya menemukan bahwa itu bukan salah satu dari meta tag yang dipahami Google, yang saya maksudkan bahwa tidak ada gunanya memasukkannya, dan sudah tidak ada gunanya sama sekali selama bertahun-tahun.
Seberapa sering mesin pencari merayapi situs web secara default, dan cara apa yang dapat diandalkan untuk menambah atau mengurangi frekuensi itu?
Jawaban:
Anda dapat mengontrol seberapa cepat Google menjelajah situs Anda di Alat Webmaster Google .
Tingkat perayapan untuk situs Anda menentukan waktu yang digunakan oleh Googlebot untuk merayapi situs Anda pada setiap kunjungan. Tujuan kami adalah untuk merayapi situs Anda secara menyeluruh (sehingga halaman Anda dapat diindeks dan dikembalikan dalam hasil pencarian!) Tanpa membuat dampak nyata pada bandwidth server Anda. Sementara sebagian besar webmaster baik-baik saja menggunakan pengaturan merangkak default (yaitu tidak diperlukan perubahan, lebih banyak di bawah ini), beberapa webmaster mungkin memiliki kebutuhan yang lebih spesifik.
Googlebot menggunakan algoritma canggih yang menentukan berapa banyak untuk merayapi setiap situs yang dikunjungi. Untuk sebagian besar situs, mungkin yang terbaik adalah memilih opsi "Biarkan Google menentukan tingkat perayapan saya", yang merupakan default. Namun, jika Anda adalah pengguna tingkat lanjut atau jika Anda menghadapi masalah bandwidth dengan server Anda, Anda dapat menyesuaikan tingkat perayapan Anda dengan kecepatan yang paling optimal untuk server web Anda. Opsi tingkat perayapan kustom memungkinkan Anda untuk memberikan wawasan Googlebot ke jumlah maksimum permintaan per detik dan jumlah detik antara permintaan yang Anda rasa terbaik untuk lingkungan Anda.
Googlebot menentukan rentang nilai tingkat perayapan yang akan Anda miliki di Alat Webmaster. Ini berdasarkan pada pemahaman kami tentang kemampuan server Anda. Kisaran ini dapat bervariasi dari satu situs ke situs lainnya dan sepanjang waktu berdasarkan beberapa faktor. Mengatur tingkat perayapan ke nilai yang lebih rendah dari standar dapat memengaruhi cakupan dan kesegaran situs Anda dalam hasil pencarian Google. Namun, mengaturnya ke nilai yang lebih tinggi daripada standar tidak akan meningkatkan cakupan atau peringkat Anda. Jika Anda menyetel laju perayapan khusus, tarif baru akan berlaku selama 90 hari setelah itu diatur ulang ke nilai yang disarankan Google.
Anda dapat menggunakan pengaturan ini hanya untuk situs tingkat root dan situs yang tidak di-host pada domain besar seperti blogspot.com (kami memiliki pengaturan khusus yang ditetapkan untuk mereka). Untuk memeriksa pengaturan tingkat perayapan, masuk ke Alat Webmaster dan kunjungi tab Pengaturan. Jika Anda memiliki pertanyaan tambahan, kunjungi Pusat Bantuan Webmaster untuk mempelajari lebih lanjut tentang bagaimana Google menjelajah situs Anda atau memposting pertanyaan Anda di Forum Bantuan Webmaster.
Selain itu, Anda mungkin perlu membuat sistem penyaringan sendiri yang mengendus agen pengguna mereka dan mengizinkan atau menolak bot mesin pencari yang berbasis di agen-pengguna mereka. Tapi itu hanya akan mempengaruhi penurunan frekuensi mereka.
Untuk menjawab bagian kedua dari pertanyaan Anda, Anda dapat memberi tahu Google menggunakan Alat Webmaster
Untuk mengubah tingkat perayapan:
Pada halaman Beranda Alat Webmaster, klik situs yang Anda inginkan.
Di bawah Konfigurasi situs, klik Pengaturan.
Di bagian Tingkat perayapan, pilih opsi yang Anda inginkan.
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=en_GB
Pada FAQ Bing, ini merujuk pada posting ini yang merekomendasikan pengaturan di Crawl-Delay: Xmana x adalah jumlah detik untuk menunggu di antara setiap permintaan.
Tentu saja peta situs menunjukkan seberapa sering halaman berubah.