Pertanyaan yang diberi tag «robots.txt»

Saya ingin memiliki daftar file yang harus ada di setiap situs web. Idenya adalah untuk menyenangkan sebagian besar browser dan bot dan turun dengan jumlah 404 pesan di log. Sejauh ini saya memiliki file-file berikut: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png Apakah ada file lain yang sering diminta dan …

36 robots.txt  404  logging  favicon 

Jika saya tidak ingin mengatur perilaku khusus, apakah boleh jika saya tidak repot-repot memiliki file robots.txt? Atau dapatkah kekurangan satu itu berbahaya?

29 robots.txt 

Di server web, saya sekarang harus mengalah, saya perhatikan bahwa robots.txt kosong. Saya bertanya-tanya apakah ada perbedaan antara robots.txt kosong dan tidak ada file sama sekali. Apakah crawler berperilaku berbeda dalam dua kasus ini? Jadi, apakah aman untuk menghapus robots.txt kosong?

28 web-crawlers  robots.txt  webserver 

Saya memiliki beberapa URL dinamis yang dihasilkan. Bisakah saya menggunakan regex untuk memblokir URL ini dalam file robots.txt?

23 robots.txt  regular-expression 

Saya memiliki dua situs yang saat ini saya kerjakan yaitu keranjang belanja dan pembelanja lain. Keduanya di bawah nama domain yang sama jadi misalnya http://example.com/first_url http://example.com/second_url Kedua URL ini memiliki banyak halaman di bawahnya http://example.com/first_url/product1 http://example.com/first_url/product2 http://example.com/first_url/product3 http://example.com/second_url/product1 http://example.com/second_url/product2 http://example.com/second_url/product3 Bagaimana saya melarang URL utama /first_urldan /second_urljuga semua subhalaman dan …

19 seo  robots.txt 

Saya memiliki beberapa halaman di situs saya yang saya ingin jauhkan dari mesin pencari, jadi saya melarangnya di robots.txtfile saya seperti ini: User-Agent: * Disallow: /email Namun saya baru-baru ini memperhatikan bahwa Google terkadang masih mengembalikan tautan ke halaman-halaman itu dalam hasil pencarian mereka. Mengapa ini terjadi, dan bagaimana saya …

18 google-search  robots.txt 

Saya menambahkan file robots.txt ke salah satu situs saya seminggu yang lalu, yang seharusnya mencegah Googlebot dari mencoba mengambil URL tertentu. Namun, akhir pekan ini saya dapat melihat Googlebot memuat URL yang tepat itu. Apakah Google cache robots.txt dan, jika ya, haruskah demikian?

17 googlebot  robots.txt  google-cache 

Saya memiliki sub-direktori yang ingin saya sembunyikan dari crawler web mesin pencari. Salah satu cara untuk melakukan ini adalah dengan menggunakan robots.txtdi direktori root server (cara standar). Namun, siapa pun yang mengetahui URL situs web dan memiliki pengetahuan web dasar dapat mengakses konten robots.txt dan dapat melihat direktori yang tidak …

16 web-crawlers  robots.txt 

Bisakah Anda memberi tahu saya cara memblokir URL semacam itu robots.txtagar Googlebots berhenti mengindeks? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Situs web saya diretas yang sekarang dipulihkan tetapi peretas mengindeks 5.000 URL di Google dan sekarang saya mendapatkan kesalahan 404 pada tautan yang dibuat secara acak seperti di atas semuanya dimulai dengan /+tautan seperti di …

15 google-search  robots.txt  url-removal 

Saya tidak suka bahwa saya melihat banyak 404 kesalahan di access.log server web saya. Saya mendapatkan kesalahan itu karena crawler mencoba membuka file robots.txt , tetapi tidak dapat menemukannya. Jadi saya ingin menempatkan file robots.txt sederhana yang akan mencegah 404 kesalahan muncul di file log saya. Apa file minimum robots.txt …

14 robots.txt 

Apakah CSS dan templat diizinkan di robots.txt ? Haruskah itu menyebabkan masalah? Di Joomla, CSS dan templat tidak diizinkan di robots.txt . Tolong bantu saya menemukan solusi untuk menolak atau tidak melarang robot untuk CSS, templat, dll. Untuk situs web saya yang akan datang.

12 css  robots.txt 

Ada beberapa halaman di situs web saya yang saya ingin agar pengguna dapat mengunjungi hanya jika saya memberinya URL. Jika saya melarang satu halaman robots.txt, mereka akan terlihat oleh siapa saja yang melihatnya. Pertanyaan saya adalah: jika saya tidak menautkannya dari mana saja, atau setidaknya dari halaman yang diindeks, apakah …

12 robots.txt 

Setelah menulis sejumlah bot, dan melihat sejumlah besar bot acak yang merayapi sebuah situs, saya bertanya-tanya sebagai seorang webmaster, bot apa yang benar-benar layak dibiarkan masuk ke sebuah situs? Pikiran pertama saya adalah membiarkan bot ke situs berpotensi membawa lalu lintas nyata ke sana. Apakah ada alasan untuk mengizinkan bot …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Saya memiliki subdomain yang saya tidak ingin terdaftar dalam hasil mesin pencari apa pun. Katakanlah saya punya: http://www.example.com http://child.example.com Bagaimana saya bisa menyembunyikan semua URL child.example.comdomain yang saat ini ditampilkan di hasil mesin pencari?

11 search-engines  url  robots.txt  search  noindex 

Ini adalah robots.txt saya : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Tetapi Alat Webmaster Google memberi tahu saya bahwa robot memblokir akses ke peta situs: Kami mengalami kesalahan saat mencoba mengakses Peta Situs Anda. Harap pastikan Peta Situs Anda mengikuti pedoman kami dan dapat diakses di lokasi yang …

11 google-search-console  robots.txt  web-crawlers