7
Bagaimana menjadi warga negara yang baik saat merayapi situs web?
Saya akan mengembangkan beberapa fungsionalitas yang akan merangkak berbagai situs web publik dan memproses / mengagregasi data pada mereka. Tidak ada yang menyeramkan seperti mencari alamat email - sebenarnya itu adalah sesuatu yang mungkin benar-benar mengarahkan lalu lintas tambahan ke situs mereka. Tapi saya ngelantur. Selain menghormati robots.txt, apakah ada …