Pertanyaan yang diberi tag «web-crawler»

Saya telah menemukan bahwa McAfee SiteAdvisor telah melaporkan situs web saya sebagai "mungkin mengalami masalah keamanan" . Saya tidak terlalu peduli dengan apa pun yang dipikirkan McAfee tentang situs web saya (saya dapat mengamankannya sendiri dan jika tidak, McAfee jelas bukan perusahaan yang akan saya minta bantuan, terima kasih banyak). …

30 web-crawler 

Bagaimana situs besar (misalnya Wikipedia) menangani bot yang berada di belakang topeng IP lainnya? Misalnya, di universitas saya, semua orang mencari Wikipedia, memberikannya muatan yang signifikan. Tapi, sejauh yang saya tahu, Wikipedia hanya bisa mengetahui IP dari router universitas, jadi jika saya membuat bot "unleashed" (dengan hanya sedikit penundaan antar …

12 web-crawler 

Saya mengalami masalah dengan seseorang tertentu yang terus menggesek situs saya secara agresif; membuang-buang bandwidth dan sumber daya CPU. Saya sudah menerapkan sistem yang mengekor log akses server web saya, menambahkan setiap IP baru ke database, melacak jumlah permintaan yang dibuat dari IP itu, dan kemudian, jika IP yang sama …

10 ip  isp  whois  web-crawler  ip-blocking 

Saya telah menginstal Apache beberapa waktu yang lalu, dan melihat sekilas pada access.log saya menunjukkan bahwa semua jenis IP yang tidak dikenal terhubung, kebanyakan dengan kode status 403, 404, 400, 408. Saya tidak tahu bagaimana mereka menemukan IP saya, karena saya hanya menggunakannya untuk penggunaan pribadi, dan menambahkan robots.txt berharap …

8 apache-2.2  web-crawler