Pertanyaan yang diberi tag «web-crawlers»

Saya melihat bahwa Google memiliki proposal / standar yang bagus untuk membuat aplikasi Ajax dapat dijelajahi, melalui #! (hash bang). http://googlewebmastercentral.blogspot.com/2009/10/proposal-for-making-ajax-crawlable.html Pertanyaan saya adalah: Apakah mereka saat ini menggunakan "proposal" ini di dunia nyata? Apakah mesin pencari lain - Bing secara khusus, juga menggunakan atau berencana menggunakannya?

12 seo  google  ajax  web-crawlers 

Saya memiliki situs multilanguage dan multidomain. Itu berjalan melalui instalasi CMS unik (Drupal), jadi saya punya direktori root tunggal. Jadi jika saya memiliki robots.txt statis, di sana saya hanya dapat menampilkan file untuk satu domain, sejauh yang saya tahu. Bisakah saya meletakkan baris di .htaccess Redirect 301 /robots.txt /robots.php (atau …

12 htaccess  redirects  sitemap  web-crawlers 

Saya perhatikan bahwa Alat Webmaster Google melaporkan banyak sumber daya yang diblokir di situs web saya. Saat ini semua "sumber daya yang diblokir" adalah .css, .js, dan gambar (.jpg, .png) yang saya layani dari Cloudfront CDN. Saya telah menghabiskan banyak waktu pengujian dan mencoba mencari tahu mengapa google tidak merayapi …

11 google-search-console  web-crawlers  googlebot  cdn  amazon-cloudfront 

Setelah menulis sejumlah bot, dan melihat sejumlah besar bot acak yang merayapi sebuah situs, saya bertanya-tanya sebagai seorang webmaster, bot apa yang benar-benar layak dibiarkan masuk ke sebuah situs? Pikiran pertama saya adalah membiarkan bot ke situs berpotensi membawa lalu lintas nyata ke sana. Apakah ada alasan untuk mengizinkan bot …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Ini adalah robots.txt saya : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Tetapi Alat Webmaster Google memberi tahu saya bahwa robot memblokir akses ke peta situs: Kami mengalami kesalahan saat mencoba mengakses Peta Situs Anda. Harap pastikan Peta Situs Anda mengikuti pedoman kami dan dapat diakses di lokasi yang …

11 google-search-console  robots.txt  web-crawlers 

Saya memiliki situs yang mendapatkan sekitar 7.000 - 10.000 tampilan halaman per hari sekarang. Mulai sekitar jam 1 pagi pada 7/1/12 saya perhatikan RKPT naik secara dramatis. Klik ini akan dikreditkan kemudian dihapuskan segera setelahnya. Jadi, itu jelas klik penipuan. Hari berikutnya saya mendapat sekitar 200 klik dengan sekitar 100 …

11 google-adsense  advertising  web-crawlers  botattack 

Situs web saya menghitung tampilan pengunjung pada halaman tertentu. Saya perhatikan bahwa Google dan Bot lainnya "mengklik" ke situs saya seperti orang gila dan beberapa halaman mendapatkan jumlah tampilan yang tidak realistis (dibandingkan dengan yang diproduksi oleh manusia). Saya meminta praktik terbaik untuk mengecualikan bot tersebut dari jumlah pandangan saya. …

11 php  mysql  web-crawlers  best-practices 

Kami memiliki halaman locater toko di situs pelanggan kami. Pengguna akhir memasukkan kode pos dan radius pencarian dan kami menampilkan hasilnya di Google Map. Baru-baru ini kami mulai memperhatikan bahwa situs tersebut mencapai batas pencarian peta gratis (kira-kira 25.000 per 24 jam) tanpa peningkatan nyata dalam lalu lintas keseluruhan. Saya …

10 web-crawlers  google-maps 

Saya menemukan artikel ini dalam berita SEO saya hari ini. Tampaknya menyiratkan bahwa Anda dapat menggunakan Noindex:arahan selain Disallow:arahan standar di robots.txt . Disallow: /page-one.html Noindex: /page-two.html Sepertinya itu akan mencegah mesin pencari dari merayapi halaman satu, dan mencegah mereka mengindeks halaman dua. Apakah arahan robots.txt ini didukung oleh Google …

10 web-crawlers  robots.txt  googlebot  noindex 

Saya menggunakan file robots.txt berikut untuk sebuah situs: Target adalah untuk memungkinkan googlebot dan bingbot untuk mengakses situs kecuali halaman /bedven/bedrijf/*dan memblokir semua bot lain dari merayapi situs. User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: google Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: bingbot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: bing Disallow: /bedven/bedrijf/* …

10 web-crawlers  robots.txt 

Bisakah agen pengguna didaftar bersama, diikuti oleh aturan umum mereka seperti di robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

10 web-crawlers  robots.txt  user-agent 

Saya menjalankan crawler web kecil dan harus memutuskan agen pengguna apa yang akan digunakan untuk itu. Daftar agen perayap serta Wikipedia menyarankan format berikut: examplebot/1.2 (+http://www.example.com/bot.html) Namun beberapa bot menghilangkan tanda plus di depan URL. Dan saya ingin tahu apa artinya itu, tetapi tidak dapat menemukan penjelasan. RFC 2616 menganggap …

10 web-crawlers  http  user-agent 

Saya punya beberapa file pribadi dalam direktori di folder sekolah saya. Anda dapat melihat bahwa file ada dengan membuka myschool.edu/myusername/myfolder, tetapi mencoba mengakses file itu sendiri melalui myschool.edu/myusername/myfolder/myfile.html mengembalikan kesalahan 403. Namun Google entah bagaimana berhasil mengambil konten dari file pribadi itu dan menyimpannya di cache! Bagaimana ini mungkin? [Sejak …

10 web-crawlers  security  googlebot 

Saya memiliki situs web yang kebanyakan saya tidak ingin diindeks oleh mesin pencari, tetapi saya ingin mempertahankannya untuk selamanya di archive.org. Jadi saya robots.txtmulai dengan ini: User-agent: * Disallow: / Hari ini, menurut archive.org saya harus menambahkan yang berikut di saya robots.txtuntuk memungkinkan bot mereka: User-agent: ia_archiver Disallow: Tapi, saya …

10 web-crawlers  robots.txt  internet-archive 

Jadi sekarang Google telah menghentikan skema perayapan AJAX . Mereka mengatakan tidak perlu repot mengimplementasikannya di situs web baru, karena itu tidak lagi diperlukan karena Googlebot sekarang tidak memiliki masalah menonton konten dinamis. Haruskah kita segera mempercayai pernyataan ini, atau lebih baik mematuhi standar yang sudah usang untuk sementara waktu?

9 seo  web-crawlers  googlebot  ajax