Googlebot mengirimkan ribuan permintaan ke pelacak peta kami dan menggunakan kuota API

Kami memiliki halaman locater toko di situs pelanggan kami. Pengguna akhir memasukkan kode pos dan radius pencarian dan kami menampilkan hasilnya di Google Map.

Baru-baru ini kami mulai memperhatikan bahwa situs tersebut mencapai batas pencarian peta gratis (kira-kira 25.000 per 24 jam) tanpa peningkatan nyata dalam lalu lintas keseluruhan. Saya menyalakan beberapa logging tambahan untuk mencoba dan menemukan apa masalahnya.

Ternyata Googlebot mendorong ribuan pencarian di peta ini. Ini adalah sampel kecil:

2017-07-09 23: 56: 22.719 [7] INFO ShopLanding - [Thread 41] Google Maps: dicari G23 diterima OK dari 66.249.66.221
2017-07-09 23: 56: 35.469 [7] INFO ShopLanding - [Thread 10] Google Maps: dicari CA6 diterima OK dari 66.249.66.221
2017-07-09 23: 57: 24.563 [7] INFO ShopLanding - [Thread 48] Google Maps: dicari BN14 diterima OK dari 66.249.66.223
2017-07-09 23: 58: 00.970 [7] INFO ShopLanding - [Thread 42] Google Maps: pencarian CB4 diterima OK dari 66.249.66.221
2017-07-09 23: 58: 13.064 [7] INFO ShopLanding - [Thread 54] Google Maps: dicari DY9 diterima OK dari 66.249.66.221
2017-07-09 23: 59: 18.722 [7] INFO ShopLanding - [Thread 59] Google Maps: TS3 yang dicari diterima dari 66.249.66.223
2017-07-09 23: 59: 53,223 [7] INFO ShopLanding - [Utas 49] Google Maps: S45 yang dicari diterima dengan baik dari 66.249.66.221

Apakah ada cara agar saya dapat menghentikan Google dari mendorong begitu banyak permintaan? Ini memakan sebagian besar dari tunjangan gratis. Pencarian yang sah tampaknya di bawah sekitar 200 per hari.

EDIT

Situs ini dibangun di atas C # ASP.NET. Pencarian toko menggunakan POST, URL tidak berubah saat dikirim. Saya dapat mengirim sampel log IIS besok pagi untuk mengkonfirmasi perilaku ini.

web-crawlers google-maps

— Burgi
sumber

Apakah item yang dicari Googlebot memiliki arti? "G23" dan "CA6" tidak berarti apa-apa bagiku. Googlebot biasanya tidak mengirimkan data acak ke formulir. Biasanya hanya merangkak opsi drop-down, data yang diisi sebelumnya, atau tautan permintaan. Apakah nilai-nilai itu ada di suatu tempat sebagai daftar? Juga, seperti apa URL Anda untuk permintaan ini?

— Stephen Ostermiller

@StephenOstermiller mereka adalah kode pos UK parsial, khususnya pengenal distrik. Ini harusnya POSTpermintaan untuk AJAX, saya akan memeriksa log IIS.

— Burgi

Selain: "Pencarian peta gratis" apa ini?

— MrWhite

@ SamWeaver, IP diselesaikan sebagai bot Google dan entri log IIS yang sesuai memiliki Googlebot UserAgent. Memang kedua hal itu bisa dipalsukan.

— Burgi

Apakah pencari lokasi toko Anda menggunakan string kueri (GET permintaan)? Apa struktur URL kasar dari halaman pencari lokasi toko Anda, apakah itu berubah (string kueri) dengan pencarian pengguna? Jika Anda dapat menjelaskan sisi fungsional / teknologi sedikit lebih detail maka itu dapat dijawab dengan cara yang lebih efektif.

— TopQnA

Untuk menghentikan googlebot agar tidak mencari melalui googlemaps, letakkan file bernama robots.txtdi root domain Anda. mis. https://www.wikipedia.org/robots.txt

Contoh robots.txt:

User-agent: Googlebot
Disallow: /search-store/

Di mana / search-store / adalah halaman yang mengirimkan permintaan ke google maps.

Jika kebetulan ada hal lain selain Googlebot, Anda dapat mencoba menonaktifkan semua perayapan ke halaman ini dengan:

User-agent: *
Disallow: /search-store/

Perhatikan bahwa itu tidak akan menghentikan kesalahan skrip yang mengabaikan robots.txt.

— satibel
sumber

Perhatikan bahwa Anda tidak ingin Google dan mesin pencari lain menelusuri halaman ini!

— Ari Davidow

Saya tidak yakin apakah memblokir seluruh toko pencarian adalah opsi yang tepat, kita mungkin perlu memahami string kueri dll. Artinya, biarkan Google membaca tetapi jangan mengirim terlalu banyak permintaan. Memblokir seluruh toko pencarian harus menjadi opsi terakhir.

— TopQnA

Pencarian pembatas nilai mungkin merupakan pilihan lain, misalkan setelah 25 pencarian, Anda perlu melakukan pendinginan selama satu jam di antara setiap pencarian. Itu akan menghentikan bot dan orang jahat, tetapi bukan pengguna biasa.

— satibel

Jika halaman itu hanya untuk mencari lokasi toko, saya ragu itu akan berguna untuk diindeks di tempat pertama. Itu akan tergantung pada struktur situs. Juga robots.txt lebih mudah / lebih cepat (sehingga lebih murah) untuk diterapkan sebagai perbaikan cepat daripada mengambil beberapa jam untuk menilai batas. @ TopQnA

— satibel

Nah, lokasi toko sangat penting bagi pengguna dan kebanyakan orang mencari toko dengan merujuk ke lokasi di Google dan jika pencari lokasi toko dapat menghasilkan peta dengan info bermanfaat dengan URL unik untuk setiap toko maka akan jauh lebih berguna untuk pengguna. Dan itulah sebabnya pemblokiran harus menjadi pilihan terakhir.

— TopQnA