Pertama, saya akan membuat permintaan maaf besar untuk semua webmaster profesional di luar sana, tetapi untuk OP ini, saya punya satu saran emas:
Melanggar pedoman mesin pencari
Dan maksud saya melakukannya sampai pada titik di mana konten penting dalam javascript kompleks dan robot konten dapat dirayapi tidak dalam HTML yang tepat. Ini termasuk tag deskripsi yang buruk, tag judul yang buruk, dll. Heck, mungkin mengubah seluruh konten menjadi hanya video yang dibuat dalam flash, atau menampilkan seluruh konten sebagai hanya satu gambar. Itu benar-benar akan membuat ngeri crawler mesin pencari.
Saya akan menunjukkan dengan contoh dalam kode:
Berikut cara untuk mendapatkan sesuatu yang diindeks:
<!DOCTYPE html>
<html>
<head>
<title>Web page</title>
<meta name="description" content="This is a wonderful web page">
</head>
<body>
<h1>A wonderful web page</h1>
<h2>By John Smith</h2>
<p>This is a wonderful page. ya de ya de ya de ya de ya de ya de</p>
<p>This is wonderful. ya de ya de ya de ya de ya de ya de</p>
</body>
</html>
Ok, saya akui, teksnya tidak sempurna, tetapi Anda mengerti maksud saya.
Sekarang jika Anda ingin menyembunyikannya dari perayap dan melakukannya dengan cara sederhana, Anda dapat mencoba ini:
<!DOCTYPE html>
<html>
<head>
<title>Private</title>
</head>
<body>
<img src="mywebsite.jpg" width=1024 height=768>
</body>
</html>
kemudian buat gambar bernama mywebsite.jpg dan sertakan semua teks di dalamnya, bukan di html yang ditunjukkan di atas. Maka Anda perlu melindungi mywebsite.jpg dengan membuat versi yang ditandai untuk pengguna yang tidak berwenang untuk melihat hal yang sebenarnya. Cukup membandingkan string agen pengguna atau alamat ip dengan yang Anda izinkan / larangkan untuk gambar. Jenis hal ini dapat dilakukan dalam .htaccess dengan beberapa aturan penulisan ulang.
Misalnya, untuk memaksa googlebot untuk melihat gambar yang di-watermark alih-alih yang asli, gunakan aturan ini:
RewriteCond %{HTTP_USER_AGENT} ^googlebot$ [NC]
RewriteRule ^mywebsite.jpg$ specialrobotimage.jpg [L]
Saya berasumsi di sini bahwa mywebsite.jpg adalah situs web asli Anda sebagai gambar dan specialrobotimage.jpg adalah tanda air atau gambar sebagai pesan yang menyatakan hanya pengguna sungguhan yang diizinkan melihat informasi tersebut. Juga, aturan menganggap semuanya ada di folder yang sama.