Bagaimana cara menghentikan kesalahan Soft 404 dari menumpuk untuk halaman "Tidak Ada Hasil"?

Baru-baru ini, saya perhatikan bahwa saya memiliki daftar kesalahan Soft 404 yang berkembang di Alat Webmaster Google. Semuanya untuk halaman hasil pencarian yang dibuat secara dinamis yang melaporkan "Tidak ditemukan kecocokan".

Saya tidak mengerti apa Google artinya dengan lembut 404 dan mengapa mereka melaporkan untuk halaman ini. Jadi saya menambahkan <meta name="robots" content="noindex">ke halaman-halaman ini.

Namun, Google masih melaporkan kesalahan Soft 404 baru untuk halaman yang menggunakan meta tag noindex .

Mengapa Google melaporkan setiap kesalahan untuk halaman saya mengatakan kepada mereka untuk tidak indeks?

Masalahnya adalah bahwa dengan semua kesalahan yang tidak diinginkan ini, saya tidak dapat melihat apakah ada masalah nyata yang perlu diperbaiki.

Beberapa mengatakan bahwa halaman ini harus mengembalikan kode status 404. Tapi itu hanya menggeser masalah ke tab kesalahan 404. Selain itu, Google mengembalikan kode status 200 untuk halaman tanpa hasil .

Saya tidak ingin memblokir akses dengan robots.txt karena saya ingin tautan pada halaman ini diikuti dan saya ingin Google melihat tag meta noindex . Selain itu, tidak ada pola yang bisa saya gunakan untuk memblokir ini.

Google menemukan URL ini di tempat pertama karena konten dulu ada, tetapi sejak itu telah dihapus. Saya tidak dapat mengembalikan kode status 410, karena kode PHP saya tidak memiliki cara untuk mengetahui alasan mengapa tidak ada hasil yang ditemukan.

Adakah yang bisa saya lakukan untuk membuatnya lebih mudah untuk melihat masalah sebenarnya?

Anda harus mencegah Google merayapi halaman pencarian situs. Google tidak ingin menjelajah pencarian situs Anda sama sekali . Berikut adalah posting blog Google Matt Cutts tentang masalah ini: Hasil pencarian dalam hasil pencarian oleh Matt Cutts pada 10 Maret 2007 . Google sekarang secara aktif menghukum situs yang memungkinkan hasil pencarian situsnya dirayapi dan muncul di SERP Google. Dengan mengizinkan Googlebot merayapi halaman hasil pencarian Anda, Anda mempertaruhkan semua lalu lintas rujukan Google Anda. Salah satu trik favorit pengulas Google adalah menggunakan pencarian situs Anda untuk istilah spam seperti "Viagra". Ketika mereka melihat halaman yang dapat dirayapi sebagai hasilnya (bahkan jika dikatakan "tidak ada hasil untuk Viagra ditemukan") mereka akan menerapkan penalti manual terhadap situs Anda sebagai situs spam.

Anda harus memasukkan pencarian situs Anda ke dalam robots.txt. Pastikan saja Googlebot masih dapat menjelajah halaman konten Anda. Anda kemudian akan berhenti melaporkan kesalahan 404 lunak baru.

Sejumlah besar 404 kesalahan (bahkan 404 kesalahan lunak) tidak merusak peringkat situs Anda. Google melaporkan kesalahan pada halaman mana pun yang dapat mereka temukan dan jelajahi, apakah Anda ingin diindeks atau tidak, dan apakah Anda bahkan menautkannya atau tidak. Mereka melakukan ini karena laporan kesalahan semata-mata untuk keuntungan Anda dan mereka merasa Anda harus diberi tahu sepenuhnya.

Inilah yang dikatakan John Mueller dari Google tentang hal itu :

1. 404 kesalahan pada URL yang tidak valid tidak merusak indeks atau peringkat situs Anda dengan cara apa pun. Tidak masalah jika ada 100 atau 10 juta, mereka tidak akan membahayakan peringkat situs Anda. http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. Dalam beberapa kasus, kesalahan perayapan mungkin berasal dari masalah struktural yang sah dalam situs web atau CMS Anda. Bagaimana Anda tahu Periksa kembali asal galat perayapan. Jika ada tautan rusak di situs Anda, di HTML statis halaman Anda, maka itu selalu layak diperbaiki. (terima kasih + Martino Mosna)
3. Bagaimana dengan URL funky yang "jelas rusak?" Saat algoritme kami menyukai situs Anda, mereka mungkin mencoba menemukan lebih banyak konten hebat di dalamnya, misalnya dengan mencoba menemukan URL baru di JavaScript. Jika kami mencoba "URL" itu dan menemukan 404, itu bagus dan diharapkan. Kami hanya tidak ingin ketinggalan sesuatu yang penting (masukkan meme Googlebot yang terlampir di sini). http://support.google.com/webmasters/bin/answer.py?answer=1154698
4. Anda tidak perlu memperbaiki kesalahan perayapan di Alat Webmaster. Fitur "tandai sebagai tetap" hanya untuk membantu Anda, jika Anda ingin melacak kemajuan Anda di sana; itu tidak mengubah apa pun dalam pipa pencarian web kami, jadi silakan abaikan saja jika Anda tidak membutuhkannya. http://support.google.com/webmasters/bin/answer.py?answer=2467403
5. Kami mencantumkan kesalahan perayapan di Alat Webmaster menurut prioritas, yang didasarkan pada beberapa faktor. Jika halaman pertama kesalahan perayapan jelas tidak relevan, Anda mungkin tidak akan menemukan kesalahan perayapan penting di halaman selanjutnya. http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. Tidak perlu "memperbaiki" kesalahan perayapan di situs web Anda. Menemukan 404 adalah normal dan diharapkan dari situs web yang sehat dan terkonfigurasi dengan baik. Jika Anda memiliki URL baru yang setara, maka mengalihkan ke itu adalah praktik yang baik. Jika tidak, Anda tidak boleh membuat konten palsu, Anda tidak boleh mengarahkan ulang ke beranda Anda, Anda tidak boleh robots.txt melarang URL tersebut - semua hal ini mempersulit kami untuk mengenali struktur situs Anda dan memprosesnya dengan benar. Kami menyebut kesalahan "soft 404" ini. http://support.google.com/webmasters/bin/answer.py?answer=181708
7. Jelas - jika kesalahan perayapan ini muncul untuk URL yang Anda pedulikan, mungkin URL dalam file peta situs Anda, maka itu adalah sesuatu yang harus segera Anda lakukan. Jika Googlebot tidak dapat menjelajah URL penting Anda, maka URL itu mungkin akan turun dari hasil pencarian kami, dan pengguna mungkin tidak dapat mengaksesnya juga.