Pertanyaan yang diberi tag «user-agent»

Kami memiliki beberapa masalah serius dengan laba-laba Yahoo (luar biasa) yang ditulis dengan buruk di masa lalu , dan akibatnya kami memblokirnya. Marco Arment dari Tumblr juga berbagi rasa frustrasinya dengan kami pada 8/31/2009, yang merupakan faktor dalam diri kami untuk memblokirnya. [Yahoo's Spider] telah membanjiri kami dengan 70-200 permintaan …

25 user-agent  bing  yahoo  web-crawlers 

Ada Ask bot, yang mengatur tajuk ini: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Mempertimbangkan hal ini, saya memiliki pertanyaan-pertanyaan berikut: Jika saya menulis crawler web bernama Goofy, agen pengguna apa yang harus saya gunakan? Apa bedanya jika saya meletakkan Mozilla/2.0atau Mozilla/5.0? Saran lain tentang bagaimana saya harus memformat agen pengguna saya untuk …

18 user-agent  web-crawlers 

Log saya penuh dengan pengunjung bot, seringkali dari Eropa Timur dan Cina. Bot diidentifikasi sebagai Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou dan sebagainya. Haruskah saya memblokir bot ini dari situs saya dan mengapa? Mana yang memiliki tujuan yang sah dalam meningkatkan lalu lintas ke situs saya? Banyak dari mereka adalah SEO. …

12 seo  web-crawlers  user-agent 

Bagaimana saya harus menafsirkan Agen-pengguna kosong? Saya memiliki beberapa kode analisis khusus dan kode itu hanya menganalisis lalu lintas manusia. Saya sudah mendapatkan daftar kerja agen-pengguna yang menunjukkan lalu lintas manusia dan lalu lintas bot, tetapi agen-pengguna kosong terbukti bermasalah. Dan saya mendapatkan banyak lalu lintas dengan agen-Pengguna kosong, sekitar …

12 apache  analytics  http  user-agent  logging 

Apakah agen pengguna di peramban biasa mana pun mengandung 'bot' atau 'merangkak'? Saya memeriksa agen pengguna di situs saya untuk melihat apakah itu berasal dari bot atau tidak. Jika ya, saya dapat melakukan sedikit optimasi karena tidak masuk. (Saya tidak mengubah konten sama sekali) Setelah menambahkan cek untuk 30-40 + …

11 user-agent 

Entri log akses Apache di situs saya biasanya seperti ini: 207.46.13.174 - - [31 / Okt / 2016: 10: 18: 55 +0100] "DAPATKAN / hubungi HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (kompatibel; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) "0.607 MISS 10.10.36.125:104 0.607 sehingga …

10 joomla  user-agent  apache-log-files  botattack 

Bisakah agen pengguna didaftar bersama, diikuti oleh aturan umum mereka seperti di robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

10 web-crawlers  robots.txt  user-agent 

Saya menjalankan crawler web kecil dan harus memutuskan agen pengguna apa yang akan digunakan untuk itu. Daftar agen perayap serta Wikipedia menyarankan format berikut: examplebot/1.2 (+http://www.example.com/bot.html) Namun beberapa bot menghilangkan tanda plus di depan URL. Dan saya ingin tahu apa artinya itu, tetapi tidak dapat menemukan penjelasan. RFC 2616 menganggap …

10 web-crawlers  http  user-agent 

Saya memiliki situs yang, karena alasan pengaturan, mungkin tidak diindeks atau dicari secara otomatis. Ini berarti bahwa kita harus menjauhkan semua robot dan mencegah mereka dari spidering situs. Jelas kami sudah memiliki file robots.txt yang melarangnya sejak awal. Namun, mengamati file robots.txt adalah sesuatu yang hanya dilakukan oleh robot berperilaku …

9 apache  web-crawlers  user-agent 

(Pertanyaan hadiah di bagian bawah) Saya mengalami masalah dengan klien yang mengakses situs kami, dan penyebab utamanya adalah bahwa WAF (Web Application Firewall) tidak menyukai string Agen-Pengguna mereka: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0; C7QcSBPWTsrpX5YLvVZMqiujEZLWPtOYk3tDZ9WhW18=) Gecko/20100101 Firefox/34.0 Dalam hal ini, string yang dikodekan base64 memicu false positive dalam WAF yang …

8 user-agent 

Apa yang Anda gunakan untuk mendeteksi ponsel pengunjung, hingga ke model jika memungkinkan? Saat ini kami mengelola database kami sendiri tetapi sangat tertinggal karena kurangnya tenaga untuk memeliharanya, jadi kami memutuskan untuk mencoba solusi pihak ketiga. Ini adalah kandidat saya, tetapi saya tidak punya waktu untuk benar-benar mencoba semuanya: DeviceAtlas …

8 mobile  user-agent  browser-detecting 

Saya memiliki beberapa pengkodean khusus yang hanya berfungsi untuk browser HTML5 (hal-hal geolokasi sederhana). Saya ingin mengarahkan pengguna iPhone dan Android ke versi m.example.com situs web saya. Bagaimana cara terbaik untuk melakukan ini?

8 iphone  android  redirects  user-agent