Pertanyaan yang bagus, dan satu banyak webmaster mungkin tertarik karena laba-laba Baidu sangat agresif dan dapat menyaring sumber daya dari server ...
Seperti yang ditunjukkan dalam berita Pencarian Web Baidu, laba-laba Baidu tidak mendukung pengaturan notifikasi keterlambatan perayapan , dan sebaliknya mengharuskan Anda untuk mendaftar dan memverifikasi situs Anda dengan platform Baidu Alat Webmaster, seperti yang dinyatakan di sini di situsnya. Tampaknya ini adalah satu-satunya pilihan untuk mengontrol frekuensi perayapan secara langsung dengan Baidu.
Masalahnya adalah bahwa bot spam lain menggunakan agen-pengguna Baidu (tercantum di sini di bawah nomor 2) untuk spider situs Anda, seperti yang ditunjukkan dalam FAQ mereka di sini di bawah nomor 4. Jadi meminta laju perayapan yang lebih lambat dengan Baidu mungkin tidak menyelesaikan semuanya.
Oleh karena itu, jika Anda memutuskan untuk menggunakan Alat Webmaster Baidu, mungkin juga bijaksana untuk membandingkan agen penggunanya dengan IP yang diketahui terkait dengan mereka dengan menggunakan sumber daya seperti Bots vs Browser Browser Database , atau menggunakan reverse DNS lookup
Satu-satunya pilihan lain adalah memblokir semua agen pengguna Baidu, dan dengan demikian mengorbankan potensi lalu lintas dari Baidu, atau berupaya membatasi permintaan berlebihan menggunakan sesuatu seperti mod_qos untuk Apache, yang mengklaim mengelola:
- Jumlah maksimum permintaan bersamaan untuk lokasi / sumber daya (URL) atau host virtual.
- Batasan bandwidth seperti jumlah permintaan maksimum yang dibolehkan per detik untuk URL atau maksimum / minimum kbytes yang diunduh per detik.
- Membatasi jumlah acara permintaan per detik (kondisi permintaan khusus).
- Itu juga dapat "mendeteksi" orang-orang yang sangat penting (VIP) yang dapat mengakses server web tanpa atau dengan batasan lebih sedikit.
- Baris permintaan umum dan filter header untuk menolak operasi yang tidak sah. Meminta pembatasan dan pemfilteran data tubuh (memerlukan mod_parp).
- Keterbatasan pada level koneksi TCP, mis., Jumlah maksimum koneksi yang diperbolehkan dari satu alamat sumber IP atau kontrol keep-hidup dinamis.
- Lebih suka alamat IP yang dikenal ketika server kehabisan koneksi TCP gratis.
Saya belum menemukan pengalaman yang dilaporkan dengan Baidu Webmaster Tools, yang lambat dimuat dan memiliki masalah terjemahan (tidak ada versi bahasa Inggris juga). Itu mungkin membantu, tapi tentu saja berdasarkan opini.