Bagaimana Anda memberi tahu mesin pencari untuk tidak mengindeks halaman ini dulu, tapi mungkin di masa depan?

Perusahaan tempat saya bekerja memiliki sistem manajemen konten yang membuat halaman secara otomatis untuk konten tertentu.

Misalnya, Ada halaman di sistem kami yang memiliki kemampuan untuk menunjukkan kepada Anda informasi tentang komposer dalam database kami, tergantung pada parameter input dan informasi apa yang kami miliki tentang mereka. Namun, kadang-kadang, ada komposer yang tidak mendapat informasi, sehingga halaman tersebut membuat halaman kosong. Bagaimana kami dapat memberitahu Google untuk tidak mengindeks halaman pada saat itu, tetapi mungkin di masa mendatang?

Karena kontennya dibuat secara otomatis, kami tidak dapat hanya memblokir halaman agar tidak terlihat, karena informasi tentang komposer itu dapat muncul kapan saja.

Edit

Harap perhatikan bahwa sistem CMS kami yang melakukan pengambilan sangat rumit dan dalam. Bagian konten halaman AKAN mengembalikan semacam data, jadi menjalankan empty($content) ? xx : yyseperti yang disarankan bukanlah perbaikan cepat. Jika komposer tidak ada, sistem tidak akan memiliki halaman untuk komposer itu, jika komposer itu ada, sistem akan. Ketika halaman komposer itu ditampilkan, sistem mencari setiap jenis yang mengacu pada komposer, seperti karya, untuk membuat halaman yang dinamis.

Jika tidak ada konten untuk komposer tertentu, gunakan tag meta:

<meta name="robots" content="noindex, follow">

Segera setelah konten ditambahkan dan tag meta dihapus, Google akan mengindeksnya.

Contoh:

<?php if(empty($composerInfoArray)): ?>
    <meta name="robots" content="noindex, follow">
<?php endif; ?>

Jika halaman "hilang" memang tidak mengandung informasi aktual, tetapi hanya placeholder untuk "mungkin ada halaman di sini di masa depan", maka saya akan merekomendasikan mengkonfigurasi server web Anda untuk mengembalikan kode status 404 Tidak Ditemukan untuk mereka.

Browser masih akan menampilkan halaman seperti itu kepada pengguna, sama seperti mereka menunjukkan 404 halaman kesalahan normal (setidaknya selama cukup lama ), tetapi mesin pencari hanya akan memperlakukan halaman seolah-olah itu tidak ada sama sekali.

Ini adalah metode yang digunakan misalnya oleh Wikipedia untuk halaman yang tidak ada seperti ini . Salah satu kelebihannya (selain itu, bisa dibilang, benar secara semantik) adalah menjamin bahwa mesin pencari akan memperlakukan halaman tersebut dengan cara yang sama persis seperti biasanya mereka memperlakukan halaman yang hilang yang mengembalikan kode status 404.

Salah satu kelemahan potensial adalah bahwa, jika Anda memiliki tautan ke halaman yang mengembalikan kode status 404, mereka akan ditampilkan sebagai "404 kesalahan" misalnya di Alat Webmaster Google. Namun, ini sangat normal, dan bukan sesuatu yang perlu dikhawatirkan .

Untuk lebih lanjut membantu mesin pencari menemukan halaman baru Anda, ketika mereka mendapatkan beberapa konten aktual dan berhenti mengembalikan 404-an, Anda juga harus memelihara peta situs XML yang diperbarui secara teratur yang mencantumkan semua halaman di situs Anda yang memiliki konten. Ini memungkinkan Google dan mesin pencari lainnya untuk menemukan halaman baru secara langsung melalui peta situs, alih-alih harus menemukan secara acak saat menyusun kembali situs Anda.

Ps. Lihat juga: Bukan halaman indeks yang tidak memiliki konten yang relevan?

Saya pribadi akan membuat pesan ke dalam sistem yang akan memberi tahu pengguna bahwa sementara permintaan mereka selesai, tidak ada komposer yang ditemukan untuk parameter yang diberikan. Ini akan menjaga pengguna dari berpikir bahwa halaman / tautan "rusak".

Jika halaman tidak memiliki konten, sistem CMS Anda seharusnya tidak terhubung ke sana. Menautkan ke halaman kosong tidak baik bagi pengguna dan mesin pencari.

Saya suka saran Wayne Whitty tentang cara menempatkan tag meta di halaman komposer itu sendiri. Anda harus menemukan cara untuk melakukan sesuatu yang serupa di tempat Anda membuat daftar semua komposer dan menghubungkannya dengan mereka:

<?php foreach ($composers as $composer) {
    if ($composer->countCount > 0)
         print "<li><a href=\"$composer->url\">$composer->name</a></li>";
    } 
} ?>

Jika Anda melakukan ini, mesin pencari tidak akan lagi menemukan halaman kosong.