Saya baru saja memperbarui file robots.txt saya di situs baru; Google Webmaster Tools melaporkan itu membaca robots.txt saya 10 menit sebelum pembaruan terakhir saya.
Apakah ada cara saya dapat mendorong Google untuk membaca kembali robots.txt saya sesegera mungkin?
UPDATE: Di Bawah Konfigurasi Situs | Akses Perayap | Tes robots.txt:
Home Page Access menunjukkan:
Googlebot diblokir dari http://my.example.com/
FYI: Robots.txt yang terakhir dibaca Google terlihat seperti ini:
User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /
Sudahkah saya menembak kaki saya, atau pada akhirnya akan membaca: http: ///robots.txt (seperti yang terjadi terakhir kali membacanya)?
Ada ide tentang apa yang harus saya lakukan?