Pertanyaan yang diberi tag «robots.txt»

Saya baru saja memperbarui file robots.txt saya di situs baru; Google Webmaster Tools melaporkan itu membaca robots.txt saya 10 menit sebelum pembaruan terakhir saya. Apakah ada cara saya dapat mendorong Google untuk membaca kembali robots.txt saya sesegera mungkin? UPDATE: Di Bawah Konfigurasi Situs | Akses Perayap | Tes robots.txt: Home …

22 google  robots.txt  google-webmaster-tools 

Untuk: Tingkatkan keamanan situs web saya Kurangi persyaratan bandwidth Cegah pengambilan alamat email

14 performance  security  robots.txt 

Saya mencoba untuk mengatur robots.txtsemua host virtual di bawah server nginx http. Saya bisa melakukannya di Apache dengan meletakkan yang berikut ini di utama httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Saya mencoba melakukan sesuatu yang mirip dengan nginx dengan menambahkan baris yang diberikan di bawah ini (a) …

13 nginx  robots.txt 

Kami memiliki pengaturan server web pengembangan XAMPP Apache dengan host virtual dan ingin menghentikan ular yang merayapi semua situs kami. Ini mudah dilakukan dengan file robots.txt. Namun, kami lebih suka tidak menyertakan disallow robots.txt di setiap vhost dan kemudian harus menghapusnya ketika kami menampilkan situs tersebut di server lain. Apakah …

10 apache-2.2  php  robots.txt