Bagaimana mencegah file PDF diindeks oleh mesin pencari?

Saya memiliki tautan ke dokumen PDF di halaman web publik. Bagaimana saya mencegah mesin pencari mengindeks tautan ini dan dokumen PDF?

Satu-satunya ide yang saya pikirkan adalah menggunakan CAPTCHA. Namun, saya bertanya-tanya apakah ada kata-kata ajaib yang memberitahu mesin pencari untuk tidak mengindeks tautan dan dokumen PDF? Pilihan menggunakan PHP atau JavaScript juga baik-baik saja.

Hanya untuk memperjelasnya. Saya tidak ingin mengenkripsi PDF dan melindunginya dengan kata sandi. Saya hanya ingin membuatnya tidak terlihat untuk mesin pencari, tetapi tidak untuk pengguna.

Untuk mencegah file PDF Anda (atau file non HTML) dicantumkan dalam hasil pencarian, satu-satunya cara adalah dengan menggunakan X-Robots-Tagheader respons HTTP , misalnya:

X-Robots-Tag: noindex

Anda dapat melakukan ini dengan menambahkan potongan berikut ke root .htaccess file situs atau file httpd.conf:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Perhatikan bahwa agar cara di atas berfungsi, Anda harus dapat mengubah header HTTP file yang dimaksud. Dengan demikian, Anda mungkin tidak dapat melakukan ini, misalnya, pada Halaman GitHub .

Juga mencatat bahwa robots.txt tidak tidak mencegah halaman Anda dari yang tercantum dalam hasil pencarian.

Apa yang dilakukannya adalah menghentikan bot dari merayapi halaman Anda, tetapi jika pihak ketiga menautkan ke file PDF Anda dari situs web mereka , halaman Anda akan tetap terdaftar.

Jika Anda menghentikan bot dari merayapi halaman Anda menggunakan robots.txt , itu tidak akan memiliki kesempatan untuk melihat X-Robots-Tag: noindextag respons. Karenanya, jangan pernah melarang halaman dalam robots.txt jika Anda menggunakan X-Robots-Tagheader. Info lebih lanjut dapat ditemukan di Google Developers: Robots Meta Tag .

Ada beberapa cara untuk melakukan ini (menggabungkannya jelas merupakan cara yang pasti untuk mencapai ini):

1) Gunakan robots.txt untuk memblokir file dari crawler mesin pencari:

User-agent: *
Disallow: /pdfs/ # Block the /pdfs/directory.
Disallow: *.pdf  # Block pdf files. Non-standard but works for major search engines.

2) Gunakan rel="nofollow"pada tautan ke PDF itu

<a href="something.pdf" rel="nofollow">Download PDF</a>

3) Gunakan x-robots-tag: noindexheader HTTP untuk mencegah crawler mengindeksnya. Tempatkan kode ini di file .htaccess Anda :

<FilesMatch "\.pdf$">
  header set x-robots-tag: noindex
</FilesMatch>

Anda dapat menggunakan file robots.txt . Anda dapat membaca lebih lanjut di sini .

Tidak yakin apakah kusen ini mungkin membawa nilai bagi siapa pun, tetapi kami baru-baru ini menghadapi masalah bahwa kotak GSA di tempat kami tidak mau mengindeks file PDF.

Dukungan Google bekerja dengan masalah ini dan jawabannya adalah terkait dengan fakta bahwa dokumen PDF ini memiliki set properti kustom (File -> Document Properties -> Custom (tab))

name: robots
value: noindex

yang mencegahnya diindeks dengan benar oleh GSA.

Jika Anda memiliki akses ke dokumen dan dapat memodifikasi propertinya, ini mungkin berfungsi ... dengan disewakan untuk GSA.

Jika Anda menemukan contoh pengembangan bertenaga muncul di hasil pencarian Google, ada cara cepat dan mudah untuk mencegah mesin pencari dari merayapi situs Anda. Tambahkan baris berikut ke blok lokasi file konfigurasi virtualhost Anda untuk blok yang Anda inginkan untuk mencegah perayapan.

add_header  X-Robots-Tag "noindex, nofollow, nosnippet, noarchive";

Anda dapat menggunakan file robots.txt. Mesin pencari yang menghormati file itu tidak akan mengindeks PDF. Cukup gunakan perintah untuk melarang pengindeksan file dan tentukan folder atau file PDF mana yang Anda tidak ingin indeks mesin pencari diindeks.