Mungkinkah perayap web melihat halaman statis tanpa mengikuti tautan ke sana?

Jika saya membuat halaman statis di domain (http://www.domain.com/page.html), dapatkah crawler masih melihatnya jika tidak ada tautan ke mana pun di situs?

Bisakah mereka melihatnya? Iya. Bisakah mereka menemukannya? Bukan tanpa bantuan.

Perayap web biasanya menemukan laman untuk dirayapi dengan mengikuti tautan ke laman itu di laman lain. Beberapa perayap (mis. Perayap mesin pencari) juga akan merayapi halaman yang terdaftar dalam file XML khusus. Jadi, jika tidak ada tautan ke halaman di situs web Anda atau situs web lain mana pun, maka halaman itu tidak akan dirayapi (halaman yang berisi URL halaman itu tetapi dalam teks biasa akan ditemukan oleh Google ).

Namun, setelah halaman ditemukan dan dirayapi, halaman tersebut dapat dirayapi kembali bahkan jika semua tautan ke halaman itu dihapus dari situs web masing-masing. Ini karena halaman yang dirayapi kemudian diindeks (misalnya ditambahkan ke daftar halaman perayapan untuk dirayapi lagi) sehingga crawler tahu untuk merayapnya lagi di lain waktu untuk mencari perubahan. Jika Anda ingin mencegah hal ini terjadi, Anda dapat melakukan salah satu dari yang berikut:

Paling efektif

• Hapus halaman dari Internet
• Mengubah URL halaman itu (pada dasarnya menghapus halaman dan menambahkan yang baru)
• Tempatkan di belakang login

Kurang efektif

• Blokir halaman itu menggunakan file robots.txt (yang mungkin diabaikan)
• Cobalah untuk memfilter bot buruk dengan IP (yang dapat berubah setiap kunjungan) atau agen pengguna (mungkin palsu)

Cara lain halaman dapat ditemukan adalah ketika Anda memiliki tautan ke situs lain di halaman itu.

URL halaman Anda akan muncul di log pengarah mereka, waktu-baik yang bagus dari banyak webmaster adalah untuk menelusuri secara singkat melalui log tersebut dan melihat apa yang orang lain katakan tentang halaman mereka.

Beberapa situs tampaknya memberikan akses ke log-log tersebut tanpa batasan akses, sehingga crawler dapat menjangkau mereka juga ...

Untuk menjaga kerahasiaan laman, jangan biarkan tautan itu keluar ke situs eksternal.