Pertanyaan yang diberi tag «robots.txt»

Di robots.txt, bisakah saya menulis URL relatif berikut untuk file sitemap? sitemap: /sitemap.ashx Atau apakah saya harus menggunakan URL lengkap (absolut) untuk file sitemap, seperti: sitemap: http://subdomain.domain.com/sitemap.ashx Kenapa saya bertanya-tanya: Saya memiliki layanan blog baru, www.domain.com, yang memungkinkan pengguna untuk blog di accountname.domain.com. Saya menggunakan wildcard, jadi semua subdomain (akun) …

191 seo  sitemap  robots.txt 

Saya robots.txtdi Alat Webmaster Google menunjukkan nilai berikut: User-agent: * Allow: / Apa artinya? Saya tidak memiliki cukup pengetahuan tentang itu, jadi mencari bantuan Anda. Saya ingin mengizinkan semua robot merayapi situs web saya, apakah ini konfigurasi yang benar?

116 robots.txt 

Apakah ada solusi cerdas untuk menyimpan file statis di direktori root aplikasi Flask. robots.txt dan sitemap.xml diharapkan ada di /, jadi ide saya adalah membuat rute untuk mereka: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response Pasti ada sesuatu yang lebih nyaman :)

94 python  flask  static  mod-wsgi  robots.txt