2
Mengapa hasil pencarian Google menyertakan halaman yang tidak diizinkan di robots.txt?
Saya memiliki beberapa halaman di situs saya yang saya ingin jauhkan dari mesin pencari, jadi saya melarangnya di robots.txtfile saya seperti ini: User-Agent: * Disallow: /email Namun saya baru-baru ini memperhatikan bahwa Google terkadang masih mengembalikan tautan ke halaman-halaman itu dalam hasil pencarian mereka. Mengapa ini terjadi, dan bagaimana saya …