Entri log Apache aneh datang dari alamat IP Google

Saya memiliki pesan kesalahan semacam ini di file log kesalahan apache saya:

[Wed Sep 27 18:45:34.289807 2017] [:error] [pid 17543] [client 66.249.79.21:47149] PHP Notice:  Undefined variable: catNameUrl in /var/www/dev/page/page_display.inc.php on line 73
[Wed Sep 27 18:59:11.964934 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  getimagesize(../include/images/sizes/3GHI9W6AyEI5/--1000.jpg): failed to open stream: No such file or directory in /var/www/dev/page/index_framed.php on line 66

Dan 1000 kali per jam:

[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335

dll ...

Faktanya adalah, tidak ada referensi tentang halaman yang diminta. Ini adalah log kesalahan normal:

[Wed Sep 27 09:09:39.877580 2017] [:error] [pid 29730] [client XX.XX.XX.XX:18888] PHP Notice:  Undefined index: cat in /var/www/dev/page/page_display.inc.php on line 441, referer: https://dev.mywebsite.com/page/redaction/p/10

https://www.abuseipdb.com/check/66.249.79.17 -> Google Search Engine Spider

Saya pikir, itu membuka url yang salah dan kemudian tidak dapat membuka file yang digunakan untuk membuat gambar secara dinamis.

Mengapa tidak ada referer di log ketika ip ini mencapai situs web dev saya?

Mengapa tidak ada referer di log ketika IP ini mencapai situs web dev saya?

Bot, termasuk Googlebot, biasanya tidak mengirim header referensi.

Pertimbangan lain adalah bahwa tidak ada header referer untuk dikirim jika halaman diakses secara langsung (header referer biasanya kosong dalam kasus-kasus ini kecuali diprogram untuk tidak menjadi).

Secara lebih umum, Anda mungkin tertarik dengan pertanyaan Webmaster ini , yang memiliki daftar alasan bagus mengapa header referer tidak dikirim (meskipun dua yang tercantum di atas adalah yang paling mungkin untuk diterapkan).

Ini kemungkinan besar perayap Google berusaha mengindeks konten situs Anda. Jadi saya tidak akan khawatir tentang itu. Yang mengatakan, Anda menyatakan ini:

Dan 1000 kali per jam ...

Dan berikan garis-garis ini sebagai contoh:

[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335

Bagian kuncinya adalah "PHP Warning: Division by zero ..." karena itu adalah kesalahan dalam kode dan skrip situs Anda. Dua pilihan Anda adalah menonaktifkan peringatan PHP di server produksi Anda yang akan menghilangkan pesan-pesan kesalahan itu atau — solusi pilihan saya — adalah membuka global_images.inc.php, membuka ke baris 335 dan mencari tahu apa yang menyebabkan pembagian dengan kesalahan nol dan menambal yang .

Anda tidak akan pernah bisa sepenuhnya mengendalikan cara bot merayapi situs Anda, apa pun yang Anda katakan. Tetapi jika Anda ingin membatasi noise dalam log kesalahan Anda, itu sepenuhnya berada dalam kendali Anda. Bersihkan kode atau kencangkan kembali kesalahan tingkat "peringatan" di situs Anda dan jangan kehilangan waktu tidur lebih lama dari ini daripada yang seharusnya.