Pertanyaan yang diberi tag «web-crawlers»

Di server web, saya sekarang harus mengalah, saya perhatikan bahwa robots.txt kosong. Saya bertanya-tanya apakah ada perbedaan antara robots.txt kosong dan tidak ada file sama sekali. Apakah crawler berperilaku berbeda dalam dua kasus ini? Jadi, apakah aman untuk menghapus robots.txt kosong?

28 web-crawlers  robots.txt  webserver 

Log untuk situs web yang saya kelola menunjukkan permintaan untuk file yang tidak ada oleh Bingbot. Rincian permintaannya adalah Path: /trafficbasedsspsitemap.xml Useragent: "Mozilla / 5.0 (kompatibel; bingbot / 2.0; + http://www.bing.com/bingbot.htm )" Alamat IP: 65.55.213.244 (membalikkan pencarian ke msnbot-65-55-213-244.search.msn.com ) Apa alasan Bingbot mencari file ini? Apakah yang dimaksud dengan …

28 bing  logging  web-crawlers 

Sebagai seorang webmaster yang bertanggung jawab atas situs kecil yang memiliki forum, saya secara teratur menerima keluhan dari pengguna bahwa mesin pencari internal dan pencarian eksternal (seperti ketika menggunakan Google) benar-benar tercemar oleh tanda tangan pengguna saya (mereka menggunakan lama tanda tangan dan itu adalah bagian dari pengalaman forum karena …

28 html  search-engines  forum  web-crawlers 

Kami memiliki beberapa masalah serius dengan laba-laba Yahoo (luar biasa) yang ditulis dengan buruk di masa lalu , dan akibatnya kami memblokirnya. Marco Arment dari Tumblr juga berbagi rasa frustrasinya dengan kami pada 8/31/2009, yang merupakan faktor dalam diri kami untuk memblokirnya. [Yahoo's Spider] telah membanjiri kami dengan 70-200 permintaan …

25 user-agent  bing  yahoo  web-crawlers 

Pertanyaan ini dimigrasikan dari Stack Overflow karena dapat dijawab di Webmasters Stack Exchange. Bermigrasi 9 tahun yang lalu . Apakah laba-laba Google tahu cara membuat JavaScript, atau hanya HTML?

22 javascript  google  seo  web-crawlers 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Webmaster Stack Exchange. Ditutup 6 tahun yang lalu . Saya memiliki situs warisan yang cukup besar dengan ribuan PDF yang kadang-kadang terhitung dalam database, tetapi sering hanya tautan …

21 site-maintenance  web-crawlers  dead-links 

Frekuensi perayapan laba-laba Baidu telah banyak dibuat. Itu benar: "Baiduspider merangkak seperti orang gila." Saya mengalami fenomena ini di situs tempat saya bekerja. Setidaknya dalam satu contoh, saya telah menemukan bahwa Baiduspider merangkak pada frekuensi yang sama dengan Googlebot, meskipun Baidu memberikan lalu lintas sekitar 0,1% lebih banyak daripada Google. …

18 seo  search-engines  googlebot  web-crawlers 

Ada Ask bot, yang mengatur tajuk ini: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Mempertimbangkan hal ini, saya memiliki pertanyaan-pertanyaan berikut: Jika saya menulis crawler web bernama Goofy, agen pengguna apa yang harus saya gunakan? Apa bedanya jika saya meletakkan Mozilla/2.0atau Mozilla/5.0? Saran lain tentang bagaimana saya harus memformat agen pengguna saya untuk …

18 user-agent  web-crawlers 

Setiap kali saya membuat Situs Web Responsif saya biasanya membuat 2 menu: 1 disembunyikan dan digunakan untuk seluler dan yang lainnya ditampilkan sebagai menu utama, lalu disembunyikan untuk menampilkan menu seluler. Setiap kali datang ke SEO dan laba-laba menavigasi situs web apakah saya mendapatkan dinged karena memiliki menu duplikat? Apakah …

16 seo  web-crawlers  googlebot  navigation 

Saya memiliki sub-direktori yang ingin saya sembunyikan dari crawler web mesin pencari. Salah satu cara untuk melakukan ini adalah dengan menggunakan robots.txtdi direktori root server (cara standar). Namun, siapa pun yang mengetahui URL situs web dan memiliki pengetahuan web dasar dapat mengakses konten robots.txt dan dapat melihat direktori yang tidak …

16 web-crawlers  robots.txt 

Sebagian besar kunjungan saya berasal dari laba-laba baidu. Saya tidak berpikir itu membantu mesin pencari sama sekali jadi saya berpikir bagaimana cara memblokirnya. Mungkinkah ini dilakukan melalui iptables? Saya menggunakan nginx sebagai server web saya.

15 traffic  nginx  web-crawlers  baidu 

Saya ingat sebuah situs ditutup karena penyalahgunaan dan saya ingin tahu apakah bot memiliki bagian darinya. Jika bot mem-POSTkan sesuatu ke situs saya apa sajakah cara saya dapat memeranginya? Saya sedang berpikir untuk mengatur beberapa cookie dan meminta cookie diubah melalui JavaScript + timestamp dan sign (jadi cookie kemarin tidak …

15 web-crawlers  spam-prevention  spam-bots 

Baru-baru ini saya mendaftarkan domain baru, mengarahkannya ke server saya yang ada, dan mengatur halaman minimal hanya mengatakan "tes" dan tidak ada yang lain. Saya baru tahu malam ini bahwa halaman tersebut sudah diindeks di Google! Tidak ada tautan ke situs (saya bahkan belum memberi tahu siapa pun tentang domain …

13 search-engine-indexing  domain-registration  web-crawlers 

Log saya penuh dengan pengunjung bot, seringkali dari Eropa Timur dan Cina. Bot diidentifikasi sebagai Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou dan sebagainya. Haruskah saya memblokir bot ini dari situs saya dan mengapa? Mana yang memiliki tujuan yang sah dalam meningkatkan lalu lintas ke situs saya? Banyak dari mereka adalah SEO. …

12 seo  web-crawlers  user-agent 

Ketika saya memeriksa log apache saya, saya dapat melihat bahwa baidu telah merayapi situs web saya 10 kali sehari selama 2 minggu terakhir. Bukannya aku terlalu peduli tapi aku sangat penasaran mengapa dia melakukan ini. Ini adalah situs web satu halaman yang sangat kecil dengan tidak banyak tautan masuk. Apakah …

12 seo  web-crawlers  baidu