Saya tidak suka bahwa saya melihat banyak 404 kesalahan di access.log server web saya. Saya mendapatkan kesalahan itu karena crawler mencoba membuka file robots.txt , tetapi tidak dapat menemukannya. Jadi saya ingin menempatkan file robots.txt sederhana yang akan mencegah 404 kesalahan muncul di file log saya.
Apa file minimum robots.txt yang valid yang akan memungkinkan semua yang ada di situs dirayapi?
Jawaban:
Seperti ditunjukkan di sini , buat file teks bernama robots.txt di direktori tingkat atas server web Anda. Anda dapat membiarkannya kosong, atau menambahkan:
User-agent: *
Disallow:
Jika Anda ingin robot merayapi semuanya . Jika tidak, lihat tautan di atas untuk contoh lebih lanjut.
Minimal terbaik robots.txtadalah file yang benar-benar kosong.
Arahan "null" lainnya seperti kosong Disallowatau Allow: *tidak hanya tidak berguna karena tidak boleh, tetapi menambah kompleksitas yang tidak dibutuhkan.
Jika Anda tidak ingin file tersebut benar-benar kosong - atau Anda ingin membuatnya lebih dapat dibaca manusia - cukup tambahkan komentar yang dimulai dengan #karakter, seperti # blank file allows all. Crawler mengabaikan garis yang dimulai dengan #.
Saya akan mengatakan ini;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Ini akan memungkinkan Google untuk merayapi semuanya tetapi akan melarang Google untuk Merayapi panel aadminn Anda. Situasi yang ideal untuk Anda.