Pertanyaan yang diberi tag «internet-archive»

Adakah mekanisme untuk mengendalikan apa yang arsip Internet Archive di situs? Saya tahu untuk melarang semua halaman yang bisa saya tambahkan : User-agent: ia_archiver Disallow: / Dapatkah saya memberi tahu bot bahwa saya ingin mereka merayapi situs saya sebulan sekali, atau setahun sekali? Saya memiliki situs / halaman yang tidak …

13 cache  internet-archive 

Saya memiliki situs web yang kebanyakan saya tidak ingin diindeks oleh mesin pencari, tetapi saya ingin mempertahankannya untuk selamanya di archive.org. Jadi saya robots.txtmulai dengan ini: User-agent: * Disallow: / Hari ini, menurut archive.org saya harus menambahkan yang berikut di saya robots.txtuntuk memungkinkan bot mereka: User-agent: ia_archiver Disallow: Tapi, saya …

10 web-crawlers  robots.txt  internet-archive