Serangan masif 404 dengan URL yang tidak ada. Bagaimana cara mencegahnya?

Masalahnya adalah 404 kesalahan, seperti dilaporkan oleh Google Webmaster Tools, dengan halaman dan pertanyaan yang belum pernah ada. Salah satunya adalah viewtopic.php, dan saya juga melihat sejumlah upaya yang menakutkan untuk memeriksa apakah situs tersebut adalah situs WordPress ( wp_admin) dan untuk login cPanel. Saya sudah memblokir TRACE, dan server dilengkapi dengan beberapa pertahanan terhadap pemindaian / peretasan. Namun, ini sepertinya tidak berhenti. Perujuk adalah, menurut Google Webmaster totally.me,.

Saya telah mencari solusi untuk menghentikan ini, karena itu tidak pasti baik untuk pengguna yang sebenarnya miskin, apalagi masalah SEO.

Saya menggunakan daftar hitam mini Perishable Press ( ditemukan di sini ), pemblokir pengarah standar (untuk situs porno, herbal, kasino), dan bahkan beberapa perangkat lunak untuk melindungi situs (pemblokiran XSS, injeksi SQL, dll.). Server menggunakan langkah-langkah lain juga, jadi orang akan menganggap bahwa situs itu aman (semoga), tetapi tidak berakhir.

Apakah ada orang lain yang memiliki masalah yang sama, atau hanya saya yang melihat ini? Apakah itu yang saya pikirkan, yaitu, semacam serangan? Apakah ada cara untuk memperbaikinya, atau lebih baik, mencegah pemborosan sumber daya yang tidak berguna ini?

EDIT Saya tidak pernah menggunakan pertanyaan untuk berterima kasih atas jawabannya, dan berharap ini bisa dilakukan. Terima kasih semua atas balasan wawasan Anda, yang membantu saya menemukan jalan keluar dari ini. Saya telah mengikuti saran semua orang dan menerapkan yang berikut:

• sebuah honeypot
• skrip yang mendengarkan curiga url di halaman 404 dan mengirimi saya email dengan agen pengguna / ip, sambil mengembalikan header 404 standar
• skrip yang memberikan penghargaan kepada pengguna yang sah, di halaman kustom 404 yang sama, jika mereka akhirnya mengklik salah satu url tersebut. Dalam waktu kurang dari 24 jam saya dapat mengisolasi beberapa IP yang dicurigai, semuanya terdaftar di Spamhaus. Semua IP yang dicatat sejauh ini milik perusahaan hosting VPS spam.

Terima kasih sekali lagi, saya akan menerima semua jawaban jika saya bisa.

Saya sering melihat situs lain yang menautkan ke banyak halaman di situs saya yang tidak ada. Bahkan jika Anda mengklik halaman itu dan tidak melihat tautan:

• Situs tersebut sebelumnya mungkin memiliki tautan-tautan itu
• Situs ini mungkin terselubung dan hanya melayani tautan itu ke Googlebot dan bukan ke pengunjung

Itu adalah pemborosan sumber daya, tetapi itu tidak akan membingungkan Google dan tidak akan merusak peringkat Anda. Inilah yang dikatakan Google oleh John Mueller (yang bekerja di Alat Webmaster dan Peta Situs) tentang 404 kesalahan yang muncul di alat Webmaster :

TOLONG! SITUS SAYA MEMILIKI 939 CRAWL ERRORS !! 1

Saya melihat pertanyaan semacam ini beberapa kali seminggu; Anda tidak sendirian - banyak situs web memiliki kesalahan perayapan.

1. 404 kesalahan pada URL yang tidak valid tidak merusak indeks atau peringkat situs Anda dengan cara apa pun. Tidak masalah jika ada 100 atau 10 juta, mereka tidak akan membahayakan peringkat situs Anda. http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. Dalam beberapa kasus, kesalahan perayapan mungkin berasal dari masalah struktural yang sah dalam situs web atau CMS Anda. Bagaimana Anda tahu Periksa kembali asal galat perayapan. Jika ada tautan rusak di situs Anda, di HTML statis halaman Anda, maka itu selalu layak diperbaiki. (terima kasih + Martino Mosna )
3. Bagaimana dengan URL funky yang “rusak jelas?” Ketika algoritme kami menyukai situs Anda, mereka mungkin mencoba menemukan lebih banyak konten hebat di dalamnya, misalnya dengan mencoba menemukan URL baru di JavaScript. Jika kami mencoba "URL" itu dan menemukan 404, itu bagus dan diharapkan. Kami hanya tidak ingin ketinggalan sesuatu yang penting (masukkan meme Googlebot yang terlampir di sini). http://support.google.com/webmasters/bin/answer.py?answer=1154698
4. Anda tidak perlu memperbaiki kesalahan perayapan di Alat Webmaster. Fitur "tandai sebagai tetap" hanya untuk membantu Anda, jika Anda ingin melacak kemajuan Anda di sana; itu tidak mengubah apa pun dalam pipa pencarian web kami, jadi silakan abaikan saja jika Anda tidak membutuhkannya. http://support.google.com/webmasters/bin/answer.py?answer=2467403
5. Kami mencantumkan kesalahan perayapan di Alat Webmaster menurut prioritas, yang didasarkan pada beberapa faktor. Jika halaman pertama kesalahan perayapan jelas tidak relevan, Anda mungkin tidak akan menemukan kesalahan perayapan penting di halaman selanjutnya. http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. Tidak perlu "memperbaiki" kesalahan perayapan di situs web Anda. Menemukan 404 adalah normal dan diharapkan dari situs web yang sehat dan terkonfigurasi dengan baik. Jika Anda memiliki URL baru yang setara, maka mengalihkan ke itu adalah praktik yang baik. Jika tidak, Anda tidak boleh membuat konten palsu, Anda tidak boleh mengarahkan ulang ke beranda Anda, Anda tidak boleh robots.txt melarang URL tersebut - semua hal ini mempersulit kami untuk mengenali struktur situs Anda dan memprosesnya dengan benar. Kami menyebut kesalahan "soft 404" ini. http://support.google.com/webmasters/bin/answer.py?answer=181708
7. Jelas - jika kesalahan perayapan ini muncul untuk URL yang Anda pedulikan, mungkin URL di file Peta Situs Anda, maka itu adalah sesuatu yang harus segera Anda lakukan. Jika Googlebot tidak dapat merangkak URL penting Anda, maka URL itu mungkin akan turun dari hasil pencarian kami, dan pengguna mungkin tidak dapat mengaksesnya juga.

Ada banyak skrip di luar sana yang optimis memindai alamat IP acak di internet untuk menemukan kerentanan yang dikenal dalam berbagai jenis perangkat lunak. 99,99% dari waktu, mereka tidak menemukan apa pun (seperti di situs Anda,) dan bahwa 0,01% dari waktu, skrip akan membajak mesin dan melakukan apa pun yang diinginkan pengontrol skrip. Biasanya, skrip ini dijalankan oleh botnet anonim dari mesin yang sebelumnya telah pwnd, bukan dari mesin aktual kiddie skrip asli.

Apa yang harus anda lakukan

1. Pastikan situs Anda tidak rentan. Ini membutuhkan kewaspadaan yang konstan.
2. Jika ini menghasilkan begitu banyak beban sehingga kinerja situs normal terpengaruh, tambahkan aturan pemblokiran berbasis IP untuk menghindari menerima koneksi dari situs tertentu.
3. Pelajari cara memfilter pemindaian CMD.EXE atau cPanel atau phpMyAdmin atau banyak kerentanan lainnya saat melihat melalui log server Anda.

Anda tampaknya percaya bahwa setiap 404 yang dikembalikan dari server Anda kepada siapa pun akan berdampak pada apa yang Google pikirkan tentang situs Anda. Ini tidak benar. Hanya 404 yang dikembalikan oleh perayap Google, dan mungkin pengguna Chrome, akan memengaruhi situs Anda. Selama semua tautan di situs Anda adalah tautan yang tepat, dan Anda tidak membatalkan tautan yang sebelumnya telah Anda buka ke dunia, Anda tidak akan melihat dampak apa pun. Bot skrip tidak berbicara dengan Google dengan cara apa pun.

Jika Anda diserang secara nyata, Anda harus mendaftar untuk semacam layanan penyedia mitigasi DoS. Verisign, Neustar, CloudFlare, dan Prolexic adalah semua vendor yang memiliki berbagai jenis rencana untuk berbagai jenis serangan - mulai dari proxy web sederhana (yang bahkan mungkin gratis dari beberapa penyedia), hingga penyaringan berdasarkan permintaan DNS, ke BGP lengkap ayunan berbasis titik kehadiran yang mengirimkan semua lalu lintas Anda melalui pusat data "scrubbing" dengan aturan yang mengurangi serangan.

Tapi, kedengarannya dari apa yang Anda katakan, bahwa Anda hanya melihat skrip kerentanan normal yang akan dilihat oleh IP di Internet jika sedang mendengarkan pada port 80. Anda benar-benar dapat memasang mesin baru, mulai Apache kosong, dan dalam beberapa jam, Anda akan mulai melihat garis-garis itu di log akses.

Ini mungkin sebenarnya bukan serangan melainkan pemindaian atau penyelidikan.

Bergantung pada pemindai / prober, itu mungkin jinak, artinya hanya mencari masalah dalam beberapa jenis kapasitas penelitian atau dapat memiliki fungsi untuk menyerang secara otomatis jika menemukan celah.

Peramban web memasukkan informasi pengarah yang valid tetapi program lain hanya dapat membuat pengarah apa pun yang mereka suka.

Perujuk hanyalah sepotong informasi yang secara opsional disediakan oleh program yang mengakses situs web Anda. Itu bisa berupa apa saja yang mereka pilih untuk diatur seperti totally.meatau random.yu. Bahkan dapat menjadi situs web nyata yang baru saja mereka pilih.

Anda tidak dapat memperbaiki atau mencegahnya. Jika Anda mencoba memblokir setiap permintaan jenis ini, Anda akhirnya harus mempertahankan daftar yang sangat besar dan itu tidak layak.

Selama host Anda tetap mengikuti tambalan dan mencegah kerentanan, ini seharusnya tidak menyebabkan Anda mengalami masalah yang sebenarnya.

Memang kedengarannya seperti kegilaan bot. Kami telah dipalu juga oleh ribuan IP di banyak host, kemungkinan besar tanpa diketahui OP situs. Sebelum saya menawarkan beberapa solusi yang bermanfaat, satu pertanyaan kembali yang saya miliki adalah:

T: Bagaimana Anda melihat 404 dari situs Anda secara keseluruhan di alat webmaster Google? GWT adalah output dari temuan Googlebots, bukan output dari bot lain. Juga, bot-bot lain itu tidak menjalankan JS untuk analitik ... apakah Anda memiliki sesuatu yang mirip API dengan GWT di mana Anda dapat melihat statistik server Anda? Jika tidak, ini dapat menyebabkan alarm karena googlebot sendiri menemukan kesalahan.

• Jika ini HANYA kesalahan googlebot, ini dapat mengindikasikan seseorang telah memasang tautan ke situs Anda di forum dan hal-hal untuk target bot manusia-manusia-jahat yang jahat yang memukulnya. Pikirkan penanam harverstor + berjalan di beberapa server yang dieksploitasi, menyiapkan satu ton target untuk "kontrak spam" di masa depan melalui portal.

• Jika Anda memang tahu bahwa ini melaporkan statistik server lengkap Anda, maka Anda memerlukan beberapa alat. Beberapa aplikasi dan layanan dapat membantu Anda memangkasnya. Dengan asumsi Anda menjalankan server linux:

1) Mulai tambahkan IP yang menyinggung ke daftar hitam htaccess. Sepertinya "menyangkal dari 192.168.1.1" dan 403 akan melarang mereka. Jangan terbawa begitu saja hanya menghalangi biggens. Periksa mereka terhadap situs di langkah 4) untuk memastikan mereka bukan ISP nyata. Anda dapat menyalin file ini dan menempelkannya di akun / aplikasi apa pun di luar firewall sekalipun.

2) Instal APF. sebenarnya mudah untuk mengelola firewall melalui SSH di linux. Saat Anda membangun ht, tambahkan di APF seperti "apf -d 192.168.1.1". Ht tampaknya berlebihan karena APF, tetapi Ht bersifat portabel.

3) Instal cPanel Hulk dan pastikan untuk memasukkan daftar putih IP Anda sehingga tidak akan mengunci Anda jika Anda lupa izin. Ini juga akan menjadi sumber IP yang bagus untuk ditambahkan ke ht + apf. Ini memiliki beberapa kecerdasan untuk itu sehingga dapat secara cerdas mengurangi upaya masuk brute force.

4) Terhubung dengan stopforumspam.com dan projecthoneypot.org dan aktifkan modul-modul mereka. Keduanya membantu banyak untuk menolak permintaan yang diketahui dan mengidentifikasi + melaporkan brute / nets / chinaspam baru. Ada filter email yang dapat Anda gunakan juga, tetapi gmail memilikinya saat membahas filter spam.

5) Karena bot tidak pernah reda, lindungi jalur admin Anda. Jika Anda menjalankan wordpress, ubah jalur admin, tambahkan captcha, dll. Jika Anda menggunakan SSH, ubah port login menjadi sesuatu yang tidak digunakan, kemudian matikan SSH root login. Buat "radmin" Anda harus login terlebih dahulu, kemudian su untuk root.

• Catatan tentang captcha, jika Anda menjalankan captcha Anda sendiri di situs volume tinggi dan jangan menyangkal kegilaan bot di tingkat firewall / ht, mereka mungkin memalu siklus cpu Anda karena pembuatan gambar di semua widget "antispam" itu.

• Catatan tentang memuat, jika Anda menjalankan CentOS di server Anda, dan memiliki kemampuan VPS, CloudLinux sangat bagus untuk pengerasan dan kontrol beban. Katakanlah bot berhasil, CageFS ada di sana untuk membatasinya ke dalam akun. Katakanlah mereka memutuskan untuk DDoS .... LVE ada di sana untuk menjaga agar akun (situs) tidak dibatasi agar server Anda mogok. Ini adalah tambahan yang bagus untuk aksen seluruh sistem "manajemen entitas yang salah" :)

Hanya beberapa pemikiran, saya harap itu membantu Anda keluar

Penjelasan masalah

Pertama-tama Anda bukan satu-satunya yang memiliki masalah ini - semua orang. Apa yang Anda lihat adalah hasil dari bot otomatis yang merayapi setiap IP dan mencari kerentanan umum. Jadi mereka pada dasarnya mencoba untuk menemukan hal-hal apa yang Anda gunakan dan jika Anda menggunakan phpmyadmin mereka kemudian akan mencoba sekelompok kombinasi kata sandi nama pengguna standar.

Saya terkejut bahwa hal semacam ini yang Anda temukan barusan (Anda mungkin baru memulai server Anda). Masalahnya adalah bahwa Anda tidak dapat memblokir alamat IP mereka selamanya (kemungkinan besar ini adalah komputer yang terinfeksi dan pengguna sebenarnya tidak mengetahui apa yang dilakukannya, juga ada banyak IP seperti itu).

Efek SEO

Tidak ada efek sama sekali. Itu berarti seseorang mencoba mengakses sesuatu di komputer Anda dan tidak ada di sana

Apakah itu penting?

Tentu, orang-orang ini mencoba menyelidiki Anda untuk beberapa masalah. Selain itu, mereka memboroskan sumber daya Anda (server Anda perlu bereaksi dengan cara tertentu) dan memoles file log Anda

Bagaimana saya memperbaikinya?

Saya memiliki masalah yang sama dengan yang saya coba perbaiki dan alat terbaik (kesederhanaan untuk menggunakan vs apa yang dapat saya lakukan dengannya) Saya dapat menemukannya adalah fail2ban

Anda juga cukup beruntung karena saya sudah menemukan cara untuk memperbaiki masalah yang sama dan bahkan mendokumentasikannya di sini (jadi Anda tidak perlu menemukan cara menginstalnya dan cara membuatnya bekerja). Periksa pertanyaan saya di ServerFault . Tapi tolong baca sedikit tentang fail2ban untuk mengetahui apakah ini berfungsi.

Seperti banyak yang telah dikatakan, ini bukan serangan tetapi upaya untuk menyelidiki atau memindai aplikasi situs Anda dan / atau kemampuan server Anda. Cara terbaik untuk menyaring semua lalu lintas yang tidak berguna ini dan pemindaian yang berpotensi berbahaya adalah dengan menerapkan WAF (Web Application Firewall). Ini akan menangkap semua upaya yang berbeda dan menandai mereka dan hanya kemudian mengirimkan lalu lintas bersih yang sah ke server dan aplikasi web Anda.

Anda dapat menggunakan WAF DNS berbasis cloud atau perangkat khusus. Saya pribadi menggunakan Incapsula dan F5 ASM untuk situs klien yang berbeda. Biaya serendah $ 500 sebulan dan sangat membantu. Ini juga memberikan perlindungan yang lebih baik untuk klien Anda dan mengurangi sumber daya di server web itu sendiri yang akan menghemat uang Anda dan meningkatkan kecepatan, ditambah perangkat ini menawarkan kepatuhan PCI 6.6 dan ulasan dengan laporan.

Semoga ini membantu.