Apa cara terbaik untuk mengeluarkan bot dari jumlah tampilan?

Situs web saya menghitung tampilan pengunjung pada halaman tertentu. Saya perhatikan bahwa Google dan Bot lainnya "mengklik" ke situs saya seperti orang gila dan beberapa halaman mendapatkan jumlah tampilan yang tidak realistis (dibandingkan dengan yang diproduksi oleh manusia).

Saya meminta praktik terbaik untuk mengecualikan bot tersebut dari jumlah pandangan saya. Jelas "agen pengguna" sederhana yang berisi "bot" tidak akan melakukannya.

Saya tidak berpikir ada solusi untuk membuktikan peluru atau saya perlu satu.

Catatan: Saya menggunakan PHP + MySQL.

Saya senang Anda tahu tidak akan ada cara antipeluru untuk mencapai ini. Itu berarti pandangan Anda setidaknya realistis.

Karena JavaScript bukan opsi, saya akan mengatakan Anda memiliki:

• Periksa agen-pengguna untuk kata "bot" di dalamnya. Itu akan menangkap sebagian besar dari mereka.

• Kompilasi daftar bot yang dikenal dan filter mereka berdasarkan pada beberapa jenis pengidentifikasi unik, mungkin agen pengguna mereka.

• Letakkan tautan tersembunyi di footer situs web Anda yang tertaut ke halaman yang mengumpulkan agen-pengguna dan / atau alamat IP. Pengguna tidak akan melihat ini tetapi bot akan melakukannya. Jadi siapa pun yang mengunjungi halaman itu akan menjadi bot. Rekam dan kemudian blokir dari statistik Anda.

Ada tiga cara yang cukup sederhana:

1. Gunakan Google Analytics, yang akan memproses dan menangani semua data untuk Anda, dan memberi Anda statistik terperinci untuk pengunjung dan bagaimana mereka sampai ke situs Anda. Sejauh ini, ini adalah solusi termudah.
2. Gunakan Javascript untuk melakukan penghitungan. Setelah halaman dimuat, buat permintaan AJAX ke skrip penghitungan Anda. Robot dan spider tidak menjalankan Javascript.
3. Mendeteksi "bot" dalam string agen pengguna sebenarnya cukup dapat diandalkan. Atau, Anda dapat tetap menggunakan bot yang dikenal saja seperti Googlebot, Yahoo, MSNbot dll. Memeriksa ketiga bot tersebut harus mencakup 99% dari lalu lintas bot Anda. Halaman ini memiliki beberapa yang lain tetapi terlihat agak ketinggalan zaman.

PEMBARUAN: Googlebot dan beberapa bot utama melakukannya menjalankan JavaScript hari ini. Jadi menggunakan opsi # 2 saja sudah tidak layak lagi. Namun, ini berarti menggunakannya bersamaan dengan # 3 harus cukup andal, karena Anda dapat dengan mudah mengecualikan sebagian besar bot dengan menggunakan JS, kemudian di sisi server mengecualikan bot utama seperti Googlebot yang menjalankan JS.

Juga seperti yang disebutkan dalam komentar Anda dapat mencoba menggunakan API Google Analytics untuk menampilkan tampilan untuk setiap halaman.

Jika Anda menggunakan Javascript untuk menghitung tampilan maka sebagian besar bot tidak akan menjalankannya dan karenanya tidak akan dimasukkan dalam jumlah tampilan Anda. Jawaban ini mungkin mendekati apa yang Anda inginkan /programming/1973448/how-can-i-count-a-page-views

Pendekatan saya melibatkan dua lintasan:

1. Saring hanya browser dan konsol web dengan mencocokkan awal string agen pengguna Mozilla|Opera|PSP|Bunjalloo|wii. Berkat agen pengguna yang melakukan spoofing, cek ini akan mendeteksi hampir semua browser
2. Kecualikan bot dengan string pemberhentian umum bot|crawl|slurp|spider

Jadi jika langkah pertama terlewati, kami berasumsi bahwa itu adalah browser dan ada pengunjung nyata di belakangnya. Seperti yang saya ketahui meskipun beberapa bot berpura-pura Mozillakompatibel dan memulai string agen pengguna mereka dengan itu. Itu sebabnya pass kedua mungkin berguna dan menghilangkannya.

function isBrowser () {

    return preg_match( '/^(Mozilla|Opera|PSP|Bunjalloo|wii)/i', $_SERVER['HTTP_USER_AGENT'] ) && !preg_match( '/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT'] );
}

Saya menggunakan agen parsing pengecualian hanya pengguna sederhana. Ini menghilangkan 99% bot masuk ke halaman saya.

SELECT * FROM `live_visitors` where (
lower(agent) != '%bot%' and
lower(agent) != '%slurp%' and
lower(agent) != '%spider%' and
lower(agent) != '%crawl%' and
lower(agent) != '%archiver%' and
lower(agent) != '%facebook%')

Anda dapat menggunakan gambar sebagai penghitung, dalam hal ini tidak akan menghitung bot dan nama halaman dilewatkan sebagai kueri dengan nama gambar

Saya menggunakan ini di img.php yang memperbarui tampilan halaman dalam database:

<?php
$xnt = $_GET["ID"]; if (isset($xnt) && is_numeric($xnt)) {
$DBServer = "localhost"; $DBUser = "xxx"; $DBPass = "xxx"; $DBaze = "xxx";
$conn = mysqli_connect($DBServer, $DBUser, $DBPass, $DBaze); 
mysqli_query($conn, "UPDATE stats SET stats_vz=stats_vz+1 WHERE stats_id=".$xnt);
mysqli_close($conn);}
$im = @imagecreatetruecolor(1, 1); imagesavealpha($im, true); imagealphablending($im, false); $white = imagecolorallocatealpha($im, 255, 255, 255, 127); imagefill($im, 0, 0, $white);
header("Content-type: image/png"); imagepng($im); imagedestroy($im);