Tag meta "robot" mana yang mendapat preferensi?

Istri saya bekerja di sebuah sekolah menengah di Jerman. Baru-baru ini saya memperhatikan bahwa sangat sulit untuk menemukan beranda sekolah itu menggunakan Google. Saya melihat kode sumber halaman dan saya yakin saya telah menemukan alasannya: Ada dua <meta name="robots">tag; satu adalah

<meta name="robots" content="all">

dan yang kedua, lebih jauh ke bawah di halaman, adalah

<meta name="robots" content="noindex, follow">

Dugaan saya adalah yang kedua mengalahkan yang pertama dan mencegah Google mengindeks situs. Apakah saya benar? Saya tidak ingin memberi tahu webmaster bahwa saya telah menemukan masalah dan membuat saya menjadi idiot (karena saya tidak benar-benar tahu apa-apa tentang cara membuat halaman web yang tepat, apalagi melakukan SEO).

Omong-omong, jika Anda kebetulan menemukan kesalahan lain di situs, saya akan senang jika Anda dapat melaporkannya. Kandidat saya berikutnya adalah tidak adanya metatag relevan yang menyampaikan informasi tentang konten halaman.

seo web-crawlers meta-robots

— Tim Pietzcker
sumber

Wikipedia bahasa Jerman menyatakan bahwa <meta name="robots" content="all"> secara semantik sama dengan <meta name="robots" content="index, follow">, sehingga kedua tag meta saling bertentangan. Saya akan memberi tahu webmaster. Saya juga menduga bahwa Google akan memilih kebijakan yang lebih ketat dan karenanya tidak mengindeks halaman untuk mencegah masalah hak cipta.

— Matthias Ronge

Saya juga melihat bahwa pada akhir halaman dua permintaan dikirim ke server pihak ketiga ( ajax.googleapis.comdan ssl.google-analytics.com). Ini bisa menjadi masalah hukum terhadap hak istimewa penentuan nasib sendiri informasi di Jerman. Saya akan merekomendasikan untuk menghindari itu.

— Matthias Ronge

Ada juga dua titleelemen. Dan hal yang sama diulang pada halaman lain, bukan hanya beranda! Bahkan, tampaknya tidak ada halaman yang diindeks, selain beberapa PDF !? Modul yang saling bertentangan dalam CMS mungkin ?! Sedikit masalah sampingan ... Seperti yang dinyatakan dalam jawaban, aturan paling ketat akan diterapkan oleh mesin pencari - belum tentu aturan selanjutnya. Namun, fungsi seperti PHP get_meta_tags()hanya akan mengembalikan aturan nanti - sehingga ada masalah (potensial) langsung dengan memiliki beberapa meta tag untuk data yang sama.

— MrWhite

@ w3d: Terima kasih atas wawasannya! Ini sangat membantu.

— Tim Pietzcker

Jawaban:

Meskipun Wikipedia bahasa Jerman mengklaim bahwa itu alladalah nilai yang valid, saya tidak tahu dari mana informasi itu berasal, dan Wikipedia bahasa Jerman tidak mengutip sumber apa pun. Ini adalah AFAIK yang salah, dan IMHO adalah contoh yang bagus untuk alasan mengapa orang tidak harus bergantung pada Wikipedia untuk jenis informasi ini.

Jika Anda ingin menggunakan tag meta robot untuk mengarahkan googlebot , informasi terbaik tentang nilai yang valid adalah pusat webmaster Google . Ini daftar enam nilai berikut sebagai valid: noindex, nofollow, noarchive, nosnippet, noodp, none.

Dengan kata lain, untuk googlebot :

meta name="robots" content="all">

adalah kesalahan sintaks dan akan diabaikan, sementara:

<meta name="robots" content="noindex, follow">

sintaksis yang valid dan akan dipatuhi (jadi ini menjelaskan mengapa sangat sulit untuk menemukan beranda sekolah itu menggunakan Google).

Untuk menjawab pertanyaan kedua Anda, apa yang terjadi jika dua tag meta robot yang valid konflik, kata Google (halaman yang sama dengan yang ditautkan di atas):

Jika konten bertentangan, kami akan menggunakan yang paling ketat.

Adapun tag meta, berikut adalah ikhtisar tag Meta yang dikenali oleh Google .

— Svartepjotr
sumber

Terima kasih atas tautan ke pusat webmaster Google. Saya akan memberikan itu ke webmaster sekolah.

— Tim Pietzcker

Tag meta robot didokumentasikan secara terperinci di developers.google.com/webmasters/control-crawl-index/docs/… - cara mudah untuk mengingatnya adalah yang "positif" (semua, indeks, ikuti) tidak memiliki efek sama sekali.

— John Mueller

Perilaku untuk dua tag meta yang saling bertentangan tidak ditentukan, sejauh yang saya tahu, tetapi kemungkinan besar aturan yang paling ketat akan menang.

Ini terjadi pada kasus yang serupa pada file robots.txt vs tag meta robots. Jika robots.txt mencegah pengindeksan halaman dan meta-robot tidak, halaman tidak akan diindeks. Dan jika robots.txt memungkinkan laman tetapi meta-robot memblokirnya, itu tetap tidak akan diindeks.

Jadi logika akan menentukan bahwa jika ada dua meta tag yang saling bertentangan, jika satu blok mengindeksnya akan menimpa yang lain (terlepas dari lokasi masing-masing pada halaman).

Anda harus bertanya kepada webmaster apakah mereka memblokir mesin pencari karena alasan tertentu. Jika tidak, hapus kedua tag meta (defaultnya adalah mengizinkan mesin pencari jadi tidak ada alasan untuk memiliki tag sama sekali).

Adapun bagian lain dari pertanyaan Anda, ulasan situs berada di luar lingkup Pro Webmaster. Tapi saya akan menambahkan bahwa tag deskripsi meta mungkin satu-satunya yang menurut Anda berguna. Tag kata kunci meta tidak digunakan oleh mesin pencari mana pun.

— DisgruntledGoat
sumber