Memahami Statistik Perayapan Google

11

Saya meluncurkan situs web saya pada Januari '11 dan diindeks di Google yang hebat - sekitar 300 halaman konten sejauh ini. Saya mencoba memahami apa yang terjadi Statistik Perayapan sekitar akhir Juni dan awal Juli. Apa yang menyebabkan pendakian besar-besaran? Apa artinya maju? Apakah ada hal lain yang harus saya lakukan?

masukkan deskripsi gambar di sini

google google-search-console

— Ubique
sumber

2

Jika Anda merasa bahwa mereka merayapi situs Anda secara berlebihan (bahkan mungkin kehilangan konten yang lebih dalam), Anda harus memastikan bahwa tajuk HTTP Anda mengembalikan nilai yang baik untuk hal-hal seperti waktu 'modifikasi terakhir', dll. Mungkin Googlebot melebih-lebihkan seberapa besar perubahan situs Anda . Sebagai bonus, situs Anda akan berperilaku lebih baik dalam hal caching (baik itu berbasis proxy atau browser) dan karenanya terasa sedikit lebih cepat.

Anda sebaiknya mempelajari URL apa yang sedang dirayapi (dengan meninjau log server Anda). Jika mereka menyusun kembali URL yang sama berulang-ulang, Anda pasti memiliki masalah. Varian umum pada ini adalah jika Anda memiliki halaman yang dapat ditampilkan dalam berbagai cara menggunakan variabel permintaan. Googlbot dapat mencoba merangkak setiap kemungkinan kombinasi dari variabel-variabel tersebut.

Contoh yang saya temui sebagai operator perayapan adalah laman yang memiliki daftar dua puluh judul, kombinasi apa pun yang dapat diperluas. Pada dasarnya, halaman itu memiliki 2 ^ 20 URL berbeda!

Pastikan Googlebot tidak terjebak merangkak pada dasarnya halaman yang sama berulang-ulang dengan parameter yang sangat berbeda (saya pernah melihatnya terjebak dalam hal ini)

— Keris
sumber

Terima kasih untuk ini, saya perhatikan hari ini ada 'lonjakan' dalam kegiatan jadi saya menjadi lebih khawatir ketika statistik Perayapan Google merangkak 1.000 halaman konten - Saya hanya punya 300 halaman! Bagaimana saya memeriksa untuk melihat halaman apa yang Google ulangi lagi dan lagi? Dan bagaimana cara memeriksa bahwa tajuk HTTP saya mengembalikan nilai bagus - apakah ada Aplikasi uji?

— Ubique

Log server Anda harus memberi tahu Anda laman apa yang dirayapi Google. Adapun header HTTP, ada sejumlah plugin Firefox. Secara pribadi saya menggunakan Firebug.

— Kris

1

Saya kira Google mengubah tingkat perayapan dengan usia situs, popularitas (tautan ke situs Anda), markup dan header, peta situs yang tepat, dll. Mereka juga mengubah perayap mereka beberapa waktu yang lalu sehingga konten sekarang dapat muncul dalam hasil pencarian lebih cepat daripada biasanya. (minimal 2 minggu sebelum perubahan).

Jadi ketika saya merilis blog saya 2 tahun yang lalu butuh Google bulan untuk mengindeks semua konten dan minggu untuk mengindeks posting baru. Sekarang saya melihat setiap posting di hasil pencarian pada hari yang sama saya mempublikasikannya.

Sesederhana itu, google tidak suka situs baru tetapi menghormati yang lebih tua.

— Anton
sumber