Bagaimana cara melarang seluruh direktori dengan robots.txt?

19

Saya memiliki dua situs yang saat ini saya kerjakan yaitu keranjang belanja dan pembelanja lain. Keduanya di bawah nama domain yang sama jadi misalnya

http://example.com/first_url 
http://example.com/second_url

Kedua URL ini memiliki banyak halaman di bawahnya

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Bagaimana saya melarang URL utama /first_urldan /second_urljuga semua subhalaman dan sub direktori? Saya sedang memikirkan sesuatu seperti ini tetapi saya tidak tahu apakah ini berhasil atau tidak dan apakah itu sintaks yang benar

Disallow: /first_url/*/
Disallow: /second_url/*/

seo robots.txt

— Stephen Ostermiller
sumber

1

Saya pikir sintaks Anda benar tetapi tidak yakin tentang ekstra /

26

Anda tidak perlu trailing slash untuk memblokir direktori tersebut. Ini akan bekerja:

Disallow: /first_url/*
Disallow: /second_url/*

Ini halaman bantuan Google mencakup ini cukup baik.

— John Conde
sumber

7

Anda bisa melakukan "Disallow: / first_url". Wildcard trailing diabaikan. Menurut developers.google.com/webmasters/control-crawl-index/docs/…

— Evgenii

Anda memerlukan Disallow: / url / * untuk mencocokkan hal-hal seperti example.com/url/test?test=1

— Gareth Daine

-1

Anda dapat menggunakan ini sebagai default Anda robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

Bintang akan memungkinkan segala sesuatu di bawah kategori itu untuk dianulir. Anda bahkan dapat melarang satu hal tertentu di bawah kategori itu dengan mengetikkan url tertentu.

— SAF
sumber

4

Ini tidak berbeda dengan jawaban yang diterima selain Anda melewatkan garis miring awal. Larang aturan di robots.txt seharusnya dimulai dengan garis miring. Begitulah semua contoh dalam dokumentasi

— Stephen Ostermiller