Saya memiliki sub-direktori yang ingin saya sembunyikan dari crawler web mesin pencari.
Salah satu cara untuk melakukan ini adalah dengan menggunakan robots.txt
di direktori root server (cara standar). Namun, siapa pun yang mengetahui URL situs web dan memiliki pengetahuan web dasar dapat mengakses konten robots.txt dan dapat melihat direktori yang tidak diizinkan.
Saya berpikir cara untuk menghindari ini, tetapi saya tidak yakin apakah akan berhasil.
Biarkan X
menjadi nama sub-direktori yang ingin saya kecualikan. Salah satu cara untuk menghentikan Web crawler mengindeks X
direktori dan pada saat yang sama untuk membuat lebih sulit bagi seseorang untuk mengidentifikasi X
direktori dari root robots.txt
, adalah untuk menambahkan robots.txt
dalam X
direktori bukan pada direktori root.
Jika saya mengikuti solusi ini, saya memiliki pertanyaan berikut:
- Akankah Perayap Web menemukan
robots.txt
di dalam sub-direktori? (mengingat itu,robots.txt
sudah ada dan di direktori root juga) Jika
robots.txt
ada diX
sub-direktori, maka apakah saya harus menggunakan jalur relatif atau absolut ?:User-agent: * Disallow: /X/
atau
User-agent: * Disallow: /