Pertanyaan yang diberi tag «googlebot»

Saya melacak geolokasi setiap anggota (menggunakan db-ip) dan semuanya baik-baik saja kecuali ponsel dengan browser Chrome. Mereka selalu memberi saya hasilnya US Mountain View California ip:66.249.xxx.xxx. Ini Google; Saya 100% yakin tentang hal itu. Tetapi orang yang mengunjungi situs web adalah saya sendiri. Saya bahkan tidak di AS; Saya menggunakan …

27 googlebot  mobile  ip-address  google-chrome 

Bagaimana cara mencegah file sitemap XML saya muncul di hasil pencarian Google seperti ini hasil dari site:permintaan pencarian: Saya tidak mengerti mengapa Google akan memilih untuk menampilkan file sitemap di hasil pencarian untuk memulai. File-file ini tidak dimaksudkan untuk konsumsi manusia. Google harus dapat merayapinya untuk dapat memprosesnya, jadi saya …

23 google  sitemap  search-engine-indexing  googlebot  xml-sitemap 

Frekuensi perayapan laba-laba Baidu telah banyak dibuat. Itu benar: "Baiduspider merangkak seperti orang gila." Saya mengalami fenomena ini di situs tempat saya bekerja. Setidaknya dalam satu contoh, saya telah menemukan bahwa Baiduspider merangkak pada frekuensi yang sama dengan Googlebot, meskipun Baidu memberikan lalu lintas sekitar 0,1% lebih banyak daripada Google. …

18 seo  search-engines  googlebot  web-crawlers 

Saya menambahkan file robots.txt ke salah satu situs saya seminggu yang lalu, yang seharusnya mencegah Googlebot dari mencoba mengambil URL tertentu. Namun, akhir pekan ini saya dapat melihat Googlebot memuat URL yang tepat itu. Apakah Google cache robots.txt dan, jika ya, haruskah demikian?

17 googlebot  robots.txt  google-cache 

Setiap kali saya membuat Situs Web Responsif saya biasanya membuat 2 menu: 1 disembunyikan dan digunakan untuk seluler dan yang lainnya ditampilkan sebagai menu utama, lalu disembunyikan untuk menampilkan menu seluler. Setiap kali datang ke SEO dan laba-laba menavigasi situs web apakah saya mendapatkan dinged karena memiliki menu duplikat? Apakah …

16 seo  web-crawlers  googlebot  navigation 

Saat ini saya mengarahkan semua koneksi non-HTTPS ke HTTPS, dan mendukung TLS v1, TLS v1.1, dan TLS v1.2. Saya mengkonfigurasi ulang server pengujian saya untuk hanya menerima cipher suite yang sangat terbatas dan aman dan hanya TLSv1.2. Setelah menjalankan uji SSL Labs, saya perhatikan bahwa grafik kompatibilitasnya menunjukkan perayap Bing …

12 seo  search-engines  https  googlebot  bingbot 

Saya telah melihat kode seperti untuk mencegah Google mengindeks bagian halaman: <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> Apakah ini berhasil?

12 search-engine-indexing  googlebot 

Ini adalah salah satu pelanggan saya, melakukan beberapa tindakan setelah masuk ke akunnya. Token unik hanyalah id pengguna + cap waktu terenkripsi. 94.254.xxx.xxx - - [02 / Jul / 2011: 22: 25: 46 +200] "DAPATKAN / beberapa aksi / unik-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla / 5.0 (kompatibel; …

12 google  search-engines  googlebot 

Saya perhatikan bahwa Alat Webmaster Google melaporkan banyak sumber daya yang diblokir di situs web saya. Saat ini semua "sumber daya yang diblokir" adalah .css, .js, dan gambar (.jpg, .png) yang saya layani dari Cloudfront CDN. Saya telah menghabiskan banyak waktu pengujian dan mencoba mencari tahu mengapa google tidak merayapi …

11 google-search-console  web-crawlers  googlebot  cdn  amazon-cloudfront 

Setelah menulis sejumlah bot, dan melihat sejumlah besar bot acak yang merayapi sebuah situs, saya bertanya-tanya sebagai seorang webmaster, bot apa yang benar-benar layak dibiarkan masuk ke sebuah situs? Pikiran pertama saya adalah membiarkan bot ke situs berpotensi membawa lalu lintas nyata ke sana. Apakah ada alasan untuk mengizinkan bot …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Konteks: Kami memiliki situs web yang tersedia dalam berbagai versi bahasa. Namun, isinya sama. Setiap versi situs yang diterjemahkan tersedia di subdomain yang berbeda. Pada beberapa halaman, kami menggunakan <link rel="canonical" />untuk menunjuk ke versi kanonik dalam bahasa yang sama dari halaman yang sama jika perlu. Ini hanya hal-hal normalisasi …

11 seo  google  googlebot  internationalization 

Saya menemukan artikel ini dalam berita SEO saya hari ini. Tampaknya menyiratkan bahwa Anda dapat menggunakan Noindex:arahan selain Disallow:arahan standar di robots.txt . Disallow: /page-one.html Noindex: /page-two.html Sepertinya itu akan mencegah mesin pencari dari merayapi halaman satu, dan mencegah mereka mengindeks halaman dua. Apakah arahan robots.txt ini didukung oleh Google …

10 web-crawlers  robots.txt  googlebot  noindex 

Jika saya memiliki konten di balik formulir POST (kotak pilih, dalam kasus saya) apakah Googlebot, atau Spider Mesin Pencari lainnya dapat merayapi konten di balik formulir itu? Misalnya, jika saya memiliki 4 terjemahan dari satu halaman, dan pemilihan bahasa adalah bentuk POST ke URL yang sama, yang kemudian dialihkan ke …

10 seo  googlebot  forms  multilingual 

Saya punya beberapa file pribadi dalam direktori di folder sekolah saya. Anda dapat melihat bahwa file ada dengan membuka myschool.edu/myusername/myfolder, tetapi mencoba mengakses file itu sendiri melalui myschool.edu/myusername/myfolder/myfile.html mengembalikan kesalahan 403. Namun Google entah bagaimana berhasil mengambil konten dari file pribadi itu dan menyimpannya di cache! Bagaimana ini mungkin? [Sejak …

10 web-crawlers  security  googlebot 

Jadi sekarang Google telah menghentikan skema perayapan AJAX . Mereka mengatakan tidak perlu repot mengimplementasikannya di situs web baru, karena itu tidak lagi diperlukan karena Googlebot sekarang tidak memiliki masalah menonton konten dinamis. Haruskah kita segera mempercayai pernyataan ini, atau lebih baik mematuhi standar yang sudah usang untuk sementara waktu?

9 seo  web-crawlers  googlebot  ajax