Koneksi ditolak oleh pihak lain: 111: Koneksi ditolak

Saya menjalankan 25 pekerjaan kasar, masing-masing memiliki 50 permintaan bersamaan pada mesin berat (dengan Ubuntu 12.04.3 LTS). Saya menggunakan proxy untuk mengirim permintaan. Setelah sekitar 15 menit, saya mendapatkan kesalahan ini dari hampir semua permintaan:

Connection was refused by other side: 111: Connection refused.

Saya menghubungi penyedia layanan proxy dan mereka mengatakan bahwa masalah ini adalah dari menangani soket di pihak saya.

Jadi skrip saya mengirim 1.250 permintaan bersamaan. Adakah di sana saya bisa mencari tahu di mana masalahnya? Apakah ada batasan koneksi di Ubuntu?

Saya melakukan sejumlah kecil penelitian tentang ini dan saya telah menemukan utas yang sangat mirip pada serverfault di sini . Tampaknya kernel Anda mungkin menjadi faktor pembatas dalam kasus khusus ini, karena jumlah koneksi konkurensi yang tinggi tidak terlalu umum. Jawaban yang diterima menyatakan itu mungkin karena tabel ip_conntrack meluap.

Di Ubuntu (Server) perbaikan bisa mengatur beberapa parameter khusus di /etc/sysctl.conf

net.ipv4.netfilter.ip_conntrack_max = 32768
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_orphan_retries = 1
net.ipv4.tcp_fin_timeout = 25
net.ipv4.tcp_max_orphans = 8192
net.ipv4.ip_local_port_range = 32768    61000

Silakan lihat utas yang saya tautkan, dan selalu sangat berhati - hati dengan konfigurasi khusus.

Saya memiliki masalah yang sama. Coba jalankan laba-laba Anda sebagai superuser. Saya menjalankan laba-laba secara langsung dengan perintah scrapy runspider, ketika saya baru saja mencoba mengeksekusinya dengan:

sudo scrapy runspider

itu berhasil.