Mengapa mesin pencari tidak mengindeks konten saya?

Ini adalah pasangan wiki umum, menangkap semua pertanyaan dan jawaban yang dimaksudkan untuk menjawab pertanyaan apa pun mengenai alasan situs atau konten situs tertentu tidak muncul dalam hasil mesin pencari.

Jika pertanyaan Anda ditutup sebagai duplikat dari pertanyaan ini dan Anda merasa bahwa informasi yang diberikan di sini tidak memberikan jawaban yang memadai, silakan buka diskusi di Pro Webmaster Meta .

Situs saya (atau halaman tertentu di situs saya) tidak muncul di hasil mesin pencari.

Mengapa konten saya tidak diindeks dan apa yang dapat saya lakukan?

Ada beberapa alasan mengapa konten Anda tidak muncul di hasil mesin pencari, namun penting untuk dicatat bahwa indeks mesin pencari mungkin berisi halaman yang tidak ditampilkan di halaman hasil .

Bagaimana cara mengetahui apakah konten Anda benar-benar diindeks

Sebenarnya mungkin sulit untuk mengetahui apakah konten Anda diindeks.

• Cari semua dokumen dari situs Anda dan lihat berapa banyak yang terdaftar
  • Google: masukkan site:example.com(di mana example.comdomain Anda, tidak boleh ada spasi setelah titik dua.)
  • Bing: masuksite: example.com
  • Yahoo: masukkan site: example.com(atau gunakan formulir pencarian lanjutan)
• Cari dokumen tertentu dengan kalimat unik delapan hingga dua belas kata dan cari kalimat itu dalam tanda kutip. Misalnya, untuk menemukan dokumen ini, Anda dapat memilih untuk mencari "sejumlah alasan konten Anda mungkin tidak muncul dalam hasil mesin pencari"

• Selain di atas, cari kata kunci menggunakan inurl:dan intitle:Anda dapat mencoba sesuatu seperti, keyword with another keyword inurl:example.comini akan memunculkan halaman yang diindeks hanya untuk domain tertentu.

  • Masuk ke alat webmaster untuk melihat statistik dari mesin pencari itu sendiri tentang berapa banyak halaman yang diindeks dari situs
  • Google Webmaster Tools - Informasi tersedia di bawah "Kesehatan" »" Status Indeks ". Jika Anda telah mengirimkan peta situs, Anda juga dapat melihat berapa banyak dokumen di setiap file peta situs yang telah diindeks.
  • Alat Webmaster Bing

Dalam beberapa kasus, dokumen mungkin tampaknya tidak diindeks melalui salah satu metode ini, tetapi dokumen dapat ditemukan dalam indeks menggunakan metode lain. Misalnya, alat webmaster dapat melaporkan bahwa beberapa dokumen diindeks bahkan ketika Anda dapat mencari kalimat mereka dan menemukan dokumen di mesin pencari. Dalam kasus seperti itu, dokumen-dokumen yang sebenarnya diindeks.

Bagaimana konten diindeks

Sebelum mesin pencari mengindeks konten, mereka harus menemukannya menggunakan crawler web. Anda harus memeriksa log server web Anda untuk melihat apakah crawler mesin pencari (diidentifikasi oleh agen pengguna mereka - misalnya Googlebot , Bing / MSNbot ) mengunjungi situs Anda.

Mesin pencari yang lebih besar seperti Google dan Bing biasanya sering menjelajah situs, tetapi crawler mungkin tidak tahu tentang situs baru. Anda dapat memberi tahu mesin pencari tentang keberadaan situs Anda dengan mendaftar sebagai webmaster-nya ( Google Webmaster Tools , Bing Webmaster Tools ) atau, jika mesin pencari tidak menyediakan fasilitas ini, mengirimkan tautan ke crawler-nya (mis. Yahoo ).

Berapa lama situs / konten Anda sudah online?

Mesin pencari dapat mengindeks konten dengan sangat cepat setelah ditemukan, namun pembaruan ini terkadang tertunda. Mesin pencari yang lebih kecil juga bisa menjadi jauh kurang responsif dan butuh berminggu-minggu untuk mengindeks konten baru.

Jika konten Anda hanya daring selama beberapa hari dan tidak memiliki tautan dari situs lain (atau tautannya berasal dari situs yang tidak sering dikunjungi perayap) mungkin tidak diindeks. Jika situs Anda belum tayang selama lebih dari beberapa bulan, mesin pencari mungkin belum cukup percaya untuk mengindeks banyak konten darinya.

Apakah kontennya dikecualikan oleh webmaster?

Langkah ini sangat penting jika Anda mengambil alih situs dari orang lain dan ada masalah dengan halaman atau direktori tertentu: periksa untuk pengecualian robot.txt dan robot META dan hapus mereka jika Anda ingin crawler mengindeks konten yang dikecualikan.

Apakah ada masalah teknis yang mencegah konten Anda diindeks?

Jika Anda memiliki situs mapan tetapi konten tertentu tidak diindeks (tidak ada klik perayap web di URL tempat konten berada) alat webmaster yang disediakan oleh Google dan Bing dapat memberikan informasi diagnostik yang berguna.

Dokumentasi Kesalahan Perayapan Google memberikan latar belakang yang luas tentang masalah umum bagi perayap web yang mencegah konten diindeks dan, jika Anda menggunakan Alat Webmaster Google, Anda akan menerima peringatan jika ada masalah ini terdeteksi di situs Anda.

Perbaiki kesalahan dan kesalahan konfigurasi secepat mungkin untuk memastikan bahwa semua konten situs Anda diindeks.

Apakah kontennya berkualitas rendah?

Mesin pencari tidak mengindeks sebagian besar halaman yang mereka jelajahi. Mereka hanya mengindeks konten berkualitas tinggi. Mesin pencari tidak akan mengindeks konten jika:

• Itu adalah spam, omong kosong, atau omong kosong.
• Itu ditemukan di tempat lain. Ketika mesin pencari menemukan konten duplikat, mereka hanya memilih satu dari duplikat untuk diindeks. Biasanya itu yang asli yang memiliki lebih banyak reputasi dan tautan.
• Itu tipis. Dibutuhkan lebih dari beberapa baris teks asli. Lebih disukai lagi. Halaman yang dibuat secara otomatis dengan sedikit konten seperti halaman untuk masing-masing pengguna Anda tidak mungkin diindeks.
• Tidak memiliki cukup reputasi atau tautan. Sebuah halaman mungkin terkubur terlalu dalam di situs Anda untuk diurutkan Halaman mana pun tanpa tautan eksternal dan lebih dari beberapa klik dari halaman beranda tidak mungkin diindeks.

Apakah beberapa konten Anda diindeks, tetapi tidak semua?

Jika situs Anda memiliki ratusan halaman, Google hampir tidak akan pernah memilih untuk mengindeks setiap halaman. Jika situs Anda memiliki puluhan ribu halaman, sangat umum bagi Google untuk memilih untuk mengindeks hanya sebagian kecil dari halaman tersebut.

Google memilih jumlah halaman untuk diindeks dari sebuah situs berdasarkan reputasi keseluruhan situs dan kualitas konten. Google biasanya mengindeks persentase situs yang lebih besar seiring berjalannya waktu seiring meningkatnya reputasi situs.

Saya pikir saya tidak perlu mengulangi hal yang sama seperti yang disebutkan di atas, namun jika Anda tidak terbiasa dengan alat baru maka di sini adalah cara untuk memeriksanya di bawah.

Anda dapat memeriksa apakah file robot.txt Anda tidak memblokir konten dengan membuka Alat Tester robots.txt Google Webmaster lama

Google Search Console (versi baru)

Konsol pencarian Google menyediakan informasi berharga daripada versi yang lebih lama. Periksa masalah langsung dari Google Search Console, apakah halaman Anda dirayapi atau tidak, diindeks atau tidak, langsung atau tidak dan masalah jika ada.

1. Masuk ke Google Search Console Anda
2. Jika Anda memiliki beberapa properti domain, pastikan Anda memilih yang diinginkan.

Alat yang sudah tidak digunakan lagi di Google Webmaster

Ini adalah bagaimana Anda dapat pergi melalui Search Console baru

Jika Anda memiliki file robots.txt di direktori root Anda, mungkin itu memberitahu Google untuk tidak mengindeks situs Anda.

Sudahkah Anda memeriksanya?

Biasanya aman untuk menghapus (atau mengganti nama) file-file tersebut karena sepertinya Anda TIDAK ingin diindeks.

PENTING: Ini bisa menjadi pemecah kesepakatan jika Anda mencoba membuat Google Adsense berfungsi di situs Anda.

Tidak masalah di mana Anda meletakkan kode khusus Anda, jika Anda tidak diindeks Anda akan diberitahu situs Anda turun sehingga mereka tidak dapat memverifikasinya.