Gabungkan agen-pengguna di robots.txt

Bisakah agen pengguna didaftar bersama, diikuti oleh aturan umum mereka seperti di robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent

— davidcondrey
sumber

Apakah ada alasan mengapa Anda tidak menggunakan user-agent: *diikuti oleh larangan? Apakah daftar agen pengguna "diizinkan" lebih lama dari daftar yang ingin Anda izinkan?

— Mike Hudson

Lihat juga di SO: Apakah mungkin untuk membuat daftar beberapa agen pengguna dalam satu baris?

— unor

Iya. Dengan asumsi bahwa nama agen Anda ditentukan dengan benar, sepertinya ini akan berfungsi. Ini adalah sumber jika Anda ingin membaca lebih lanjut. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

— closetnoc
sumber

The original robots.txt spesifikasi setuju: "Jika lebih dari satu bidang User-agent hadir catatan menggambarkan kebijakan akses yang sama untuk lebih dari satu robot."

— Ilmari Karonen