Gabungkan agen-pengguna di robots.txt


10

Bisakah agen pengguna didaftar bersama, diikuti oleh aturan umum mereka seperti di robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

1
Apakah ada alasan mengapa Anda tidak menggunakan user-agent: *diikuti oleh larangan? Apakah daftar agen pengguna "diizinkan" lebih lama dari daftar yang ingin Anda izinkan?
Mike Hudson

Jawaban:


Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.