Bagaimana "Noindex:" di robots.txt berfungsi?

Saya menemukan artikel ini dalam berita SEO saya hari ini. Tampaknya menyiratkan bahwa Anda dapat menggunakan Noindex:arahan selain Disallow:arahan standar di robots.txt .

Disallow: /page-one.html
Noindex: /page-two.html

Sepertinya itu akan mencegah mesin pencari dari merayapi halaman satu, dan mencegah mereka mengindeks halaman dua.

Apakah arahan robots.txt ini didukung oleh Google dan mesin pencari lainnya? Apakah itu bekerja? Apakah ini didokumentasikan?

— Stephen Ostermiller
sumber

Saya tidak tahu ... tapi ini bisa sangat membantu bagi sebagian orang. Juga, saya ingin melihat sitemap diperluas menjadi lebih komunikatif. Antara robot dan peta situs, ini harus menjadi peluang emas untuk berkomunikasi kembali ke mesin pencari dan orang lain tentang sebuah situs. Saya juga mendukung kesempatan berbasis teks untuk menginformasikan mesin pencari tentang situs dengan cara yang berbeda dari yang tersedia dalam pencarian seperti halaman tentang seolah-olah Anda mendapat kesempatan untuk berbicara langsung dengan pengulas situs Google. Itu bisa menyelamatkan beberapa sakit hati dan kesalahpahaman. Kesempatan untuk mengatakan Ooopppsss, saya melakukan kesalahan- Maaf.

— closetnoc

Saya mendapat kesan bahwa disallowGoogle berhenti menemukan tautan pada laman induk dan anak jika ada. Meskipun noindexhanya menghentikan halaman yang terdaftar, itu tidak menghentikan penemuan sementara melarang.

— Simon Hayter

@SimonHayter Saya tahu itulah cara nofollowkerjanya untuk tag meta. Akan menyenangkan untuk mengetahui apakah itu juga kasus untuk robots.txt .

— Stephen Ostermiller

Hai @StephenOstermiller tidak hanya meta tag, itu juga sama <a rel="no-follow">. Saya tidak melihat alasan mengapa itu akan diperlakukan berbeda. Jelas ini tidak resmi dan bahkan direkomendasikan oleh John Muller untuk tidak menggunakannya di robots.txt tetapi selain dari tweetnya, saya belum berhasil menemukan banyak informasi tentang itu.

— Simon Hayter

Perlu dicatat bahwa Google tidak lagi menandai Noindexarahan dalam robots.txtfile sebagai kesalahan.

— Aran

Google digunakan untuk secara tidak resmi mendukung Noindexarahan di robots.txt, namun pada 2019, mereka mengumumkan bahwa arahan tidak akan berfungsi lagi.

Berikut adalah apa yang dikatakan John Mueller dari Google Noindex:di robots.txt :

Kami dulu mendukung direktif tanpa indeks di robots.txt sebagai fitur eksperimental. Tapi itu sesuatu yang tidak akan saya andalkan. Dan saya tidak berpikir mesin pencari lain menggunakannya sama sekali.

Sebelum Google mengumumkan fitur tersebut dihentikan, deepcrawl.com melakukan beberapa pengujian fitur dan menemukan bahwa:

Sebelum 2019, masih bekerja dengan Google
Ini mencegah URL muncul dalam indeks pencarian
URL yang telah noindexed di robots.txt ditandai seperti itu di Google Search Console

Mengingat bahwa Google menghentikan fitur, itu tidak boleh digunakan lagi.

Alih-alih, gunakan tag meta robot yang didukung dan didokumentasikan dengan baik untuk mencegah pengindeksan:

<meta name="robots" content="noindex" />

— Stephen Ostermiller
sumber