Kami memiliki beberapa masalah serius dengan laba-laba Yahoo (luar biasa) yang ditulis dengan buruk di masa lalu , dan akibatnya kami memblokirnya. Marco Arment dari Tumblr juga berbagi rasa frustrasinya dengan kami pada 8/31/2009, yang merupakan faktor dalam diri kami untuk memblokirnya.
[Yahoo's Spider] telah membanjiri kami dengan 70-200 permintaan / detik sejak sekitar 5:30 EST. Saya belum pernah melihat yang seperti ini, bahkan dari perayap "percobaan" mereka yang kejam yang telah menyalahgunakan kami di masa lalu. Larangan Robots.txt tidak cukup: Saya harus memblokirnya dengan IP di level load-balancer. Karena mereka telah menyalahgunakan Stack Overflow di masa lalu, saya pikir Anda mungkin ingin tahu.
Sepertinya pencarian web Yahoo adalah "Didukung oleh Bing!" sekarang. Ini bagus, karena kami tidak pernah punya masalah dengan laba-laba Bing (alias MSNBOT).
Jadi, apakah pencarian Yahoo sama dengan pencarian Bing sekarang, atau haruskah kita melihat kemungkinan membuka blokir mereka jika mereka, entah bagaimana, terhadap segala rintangan, berhenti mengisap begitu keras?