Jawaban:
Di root direktori situs web subdomain, tambahkan file bernama robots.txt yang mengandung:
User-agent: *
Disallow: /
Ini akan memberi tahu perayap web untuk tidak mengindeks situs sama sekali. Mereka tidak harus mematuhi, tetapi yang utama akan melakukannya.
noindex
ke indeks dan halaman lain pada sub-domain
Menggunakan file robots.txt di subdomain Anda akan membantu (dan Google akan mematuhinya), tetapi langkah lain yang dapat Anda lakukan adalah menentukan dengan akun Google Webmaster bahwa Anda tidak ingin subdomain ini diindeks. Anda juga dapat menggunakan tag meta pada semua halaman di subdomain:
<meta name="robots" content="noindex">
Jika ini merupakan situs yang hanya Anda gunakan untuk pengujian internal, membatasi visibilitas ke set alamat IP yang ditentukan dalam file host virtual Anda akan lebih jauh menyembunyikan situs.
meta
tag noindex di setiap halaman, Anda dapat mengembalikan X-Robots-Tag
header respons HTTP dari server Anda untuk subdomain yang ditentukan - ini hanya perlu Anda lakukan sekali.
Solusi dari Kenzo dan Paul bagus, Anda dapat menempatkan meta tag noindex di halaman web Anda dan menambahkan robots.txt untuk melarang robot.
Namun menurut saya, solusi terbaik adalah menggunakan otentikasi kata sandi pada sub domain Anda. Ini adalah satu-satunya solusi yang Anda yakin robot dapat mengakses dan mengindeks situs web Anda. Jika Anda menggunakan Apache, Anda dapat mengimplementasikan htpasswd .
... saat ini ditampilkan dalam hasil SEO?
Jawaban lain lebih lanjut tentang mencegah pengindeksan domain (sub) secara proaktif (yang terutama Anda tanyakan dalam pertanyaan) daripada secara aktif menghapus halaman Anda dari hasil pencarian, yang mungkin lebih seperti apa yang Anda cari, dilihat dari pertanyaan Anda yang lain .
Anda masih perlu memblokir situs Anda di robots.txt dan menyajikan tag noindex meta
(atau X-Robots-Tag
tajuk respons HTTP), sebagaimana dinyatakan dalam jawaban lain, tetapi Anda juga perlu memblokir akses ke halaman Anda, mengembalikan kode status 404 atau 410.
Anda dapat membaca lebih lanjut tentang ini di halaman bantuan Alat Webmaster Google:
Persyaratan untuk menghapus konten
Setelah semua ini ada di tempat maka Anda dapat menggunakan alat Hapus URL di Alat Webmaster Google. Namun, ini hanya berlaku untuk masing-masing URL, bukan keseluruhan situs, tetapi ini awal. (Google menyatakan bahwa menggunakan robots.txt, noindex dan melayani 404 adalah persyaratan untuk menggunakan alat penghapusan GWT.)
Namun, jika Anda masih ingin pengguna biasa dapat mengakses situs dengan mengetik URL, maka itu masalah - karena konten Anda tidak lagi tersedia. Anda dapat memasukkan kata sandi, seperti yang disarankan Zistoloen, namun ini akan mengembalikan 403 (Terlarang) secara default yang Anda harus timpa untuk mengembalikan 404/410. Anda dapat menyelubungi konten Anda, mengembalikan 410 ke Googlebot dan mengizinkan semua orang untuk masuk - tetapi bagaimana dengan orang-orang yang mengklik hasil di SERPs?
Tetapi jika Anda ingin Google menghapus konten Anda dalam waktu secepat mungkin maka Anda harus menghapusnya dari internet "Google".