Haruskah saya memblokir bot dari situs saya dan mengapa?


12

Log saya penuh dengan pengunjung bot, seringkali dari Eropa Timur dan Cina. Bot diidentifikasi sebagai Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou dan sebagainya. Haruskah saya memblokir bot ini dari situs saya dan mengapa?

Mana yang memiliki tujuan yang sah dalam meningkatkan lalu lintas ke situs saya? Banyak dari mereka adalah SEO.

Saya harus mengatakan saya melihat lebih sedikit lalu lintas karena bot telah tiba dalam jumlah besar.

Tidak akan terlalu sulit untuk memblokir ini karena mereka semua mengakui dalam Agen Pengguna mereka bahwa mereka adalah bot.

Jawaban:


7

Anda dapat memblokir bot tetapi itu tergantung pada apa yang Anda inginkan untuk situs web Anda.

Anda dapat memblokir bot mesin pencari jika Anda tidak ingin melihat situs web Anda diindeks di mesin pencari tertentu.
Contoh: Yandex adalah mesin pencari Rusia. Anda dapat memblokir botnya jika bisnis Anda tidak menargetkan Rusia.

Anda dapat memblokir bot SEO jika Anda tidak ingin menggunakan solusi analisis web mereka.
Contoh: Ahrefs adalah solusi analisis web. Anda dapat memblokir botnya jika Anda tidak menggunakan solusi analisis web ini.

Alasan untuk memblokir bot:

  • lebih sedikit robot yang pergi ke situs web Anda dan lebih banyak bandwidth dikaitkan dengan pengunjung nyata
  • aman terhadap malware malware
  • ukuran log

Alasan untuk tidak memblokir bot:

  • bot seperti bot mesin pencari dapat meningkatkan traffic Anda dengan mengindeks situs web Anda.

Anda dapat mempelajari lebih lanjut tentang bot dengan membaca FAQ robotstxt.org .

Jika Anda ingin menentukan beberapa robot untuk diblokir, Anda dapat mengambil inspirasi dari situs web robots.txt ini .

Hati-hati, beberapa bot dapat mengabaikan robots.txt , informasi lebih lanjut di sini .

Kesimpulan : Anda dapat mencari di fungsi robot internet untuk menentukan apakah memblokirnya bisa bermanfaat.


Terima kasih. Ngomong-ngomong, saya juga mendapat kunjungan dari Linode. UA mengatakan itu adalah skrip Python. Haruskah saya curiga?
Frank E

Jika saya jadi Anda, saya tidak memblokir Linode. Saya tidak tahu apa itu sebenarnya tentang hosting.
Zistoloen

Bagaimana dengan IPStrada? Saya melihat mereka muncul dari waktu ke waktu. Mereka tidak pernah mendaftar untuk suatu akun.
Frank E

Seperti Linode. Robot memindai internet bahkan jika Anda atau mereka tidak pernah mendaftar untuk suatu akun. Tapi jangan khawatir, ini bukan masalah besar.
Zistoloen

4

Ketika mencoba memblokir bot dapat membantu membebaskan sumber daya dan membersihkan log Anda, penting untuk dicatat bahwa robots.txt dan bahkan menggunakan tag meta pada halaman noindex sebenarnya tidak menghentikan bot mengunjungi situs Anda. Mereka masih dapat menjelajah situs Anda sesekali untuk melihat apakah yang ditolak dari robot telah dihapus. Banyak bot bahkan tidak menggunakan agen pengguna dan akan menggunakan agen pengguna standar. Bot yang saya maksudkan adalah bot pemanen SEO yang memindai backlink dan bukan yang umum yang Anda temukan dari mesin pencari.

Alih-alih memblokir bot Anda harus mempertimbangkan faktor bot ini ketika menghitung pengunjung Anda, setelah beberapa saat aktif memantau situs Anda, Anda membangun angka kasar yang bot. Kebanyakan orang peduli dengan kunjungan unik dan ini mengesampingkan bot karena mereka selalu kembali. Di zaman sekarang ini ada banyak server, shared hosting yang dapat menangani bot ini, jadi selain halaman yang tidak ingin Anda indeks, saya tidak melihat alasan mengapa memblokir jenis bot ini. Tentu saja Anda memiliki bot berbahaya juga, tetapi ini tentu saja tidak akan menggunakan agen pengguna;).

Secara pribadi saya percaya memblokir robot adalah buang-buang waktu karena mereka tidak menggunakan banyak sumber daya sama sekali, robot SEO dapat membantu karena mereka mendaftar situs Anda pada halaman PR0 yang tentu saja meningkatkan PageRank Anda dan ada otomatis sehingga Anda tidak akan dihukum oleh mereka.

Masalah log

Anda harus menggunakan penampil log yang tepat yang memungkinkan Anda untuk menyaring permintaan tertentu, ini membuatnya lebih mudah saat meninjau log Anda. Pemirsa yang baik dapat menyaring banyak hal seperti kunjungan normal, 404-an, dan sebagainya.


1
Mengapa bot SEO memindai backlink? Apakah hanya karena itu sesuatu yang digunakan konsultan SEO? Atau ada tujuan jahat lagi?
Frank E

2
Hai Frank, mereka memindai backlink dan mencatatnya sehingga webmaster dapat melihat siapa yang menautkannya. Ini adalah uang besar bagi perusahaan SEO untuk login backlink dan membebankan biaya webmaster untuk menemukan siapa yang menautkannya, ketika tautan itu dibuat, jika itu dihapus, jika diikuti atau tidak diikuti - apa jangkar teks yang mereka gunakan dan sebagainya. Google, Bing tidak memberikan informasi ini sehingga layanan yang diinginkan dan berharga bagi sebagian besar web master yang ingin melihat jaringan tautan mereka.
Simon Hayter

Juga tidak ada artinya jika banyak kerentanan yang dicari orang dikumpulkan dengan menggunakan mesin pencari dan tidak memiliki bot yang memindai setiap situs. Misalnya jika modul / plugin kedaluwarsa dan ada orang yang dieksploitasi yang diketahui akan menggunakan Google untuk menemukan situs-situs ini untuk mengeksploitasinya. Robot yang diblokir tidak akan mengamankan server Anda: P
Simon Hayter

@bybe Oleh 'vulablites', maksud Anda 'kerentanan'?
DaveP

@DaveP absolute;) thx - dikoreksi.
Simon Hayter
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.