Di server web, saya sekarang harus mengalah, saya perhatikan bahwa robots.txt kosong. Saya bertanya-tanya apakah ada perbedaan antara robots.txt kosong dan tidak ada file sama sekali.
Apakah crawler berperilaku berbeda dalam dua kasus ini? Jadi, apakah aman untuk menghapus robots.txt kosong?
Jawaban:
Apakah crawler berperilaku berbeda dalam dua kasus ini?
Sebuah robots.txt file yang kosong benar-benar tidak berbeda dari satu yang tidak ditemukan, kedua tidak merangkak disallow.
Namun Anda mungkin menerima banyak 404kesalahan dalam log server Anda ketika crawler meminta file robots.txt , seperti yang ditunjukkan dalam pertanyaan ini di sini .
Jadi, apakah aman untuk menghapus robots.txt kosong?
Ya, dengan peringatan di atas.
Tidak. Tidak ada perbedaan.
Anda akan mendapatkan 404 kesalahan dalam log server Anda, dan jika Anda berlangganan hal-hal seperti alat Google Web Master mungkin memberi tahu Anda Anda tidak punya satu, tetapi dalam hal perilaku robot crawler - mereka sama untuk robot apa pun yang Anda sayangi.