Saat Anda menggunakan tes ini, perhatikan bahwa banyak piksel / skrip pelacakan iklan (bahkan piksel Google dan piksel Doubleclick (Google memiliki Doubleclick)) dapat diblokir oleh file robots.txt mereka sendiri yang tidak dapat Anda kendalikan. Saya telah melihat tangan pertama ini di salah satu situs saya sendiri - Google memblokir piksel Doubleclick mereka agar tidak dipindai oleh Googlebot. Anda harus bertanya pada diri sendiri, "Googlebot adalah untuk mengidentifikasi konten pada halaman Anda, tidak mengikuti pelacak piksel. Bahkan piksel pelacakan Google sendiri memblokir Googlebotnya sendiri. Jadi, mengapa saya harus peduli jika pelacak piksel tersebut diblokir?" Dan saya juga melihat ini dengan pixel Facebook.
Namun, jika ini adalah file robots.txt yang Anda kontrol, dan tidak ada hubungannya dengan pelacakan piksel, maka kemungkinan itu adalah sesuatu yang perlu Anda atasi. Sekarang, jika Anda memiliki bagian hanya-keanggotaan dari situs web Anda, atau hanya bagian admin-situs web Anda, dan itu ditautkan dari beranda, maka Anda dapat mempertimbangkan atribut tautan-penyelubungan atau nofollow tautan sehingga Googlebot tidak coba ikuti itu di halaman Anda. Namun, kita harus bertanya apakah Google ingin Anda mengizinkan Googlebot melewati bagian khusus anggota atau admin di situs web Anda, yang kemungkinan besar tidak menurut saya.
Tapi ini pendapat saya. Kecuali kita benar-benar bisa mendapatkan Tim Rekayasa SEO Google untuk merespons, kita agak meraba-raba dalam gelap dan hanya harus menggunakan intuisi akal sehat terbaik kita di sini.
wp-contentdapat menyebabkan masalah tersebut. Robots.txt Anda terlihat baik bagi saya, setidaknya sekarang. Sudahkah Anda mengubahnya baru-baru ini?