Percobaan maksimum terlampaui dengan URL dalam permintaan

Saya mencoba untuk mendapatkan konten dari App Store> Bisnis :

import requests
from lxml import html

page = requests.get("https://itunes.apple.com/in/genre/ios-business/id6000?mt=8")
tree = html.fromstring(page.text)

flist = []
plist = []
for i in range(0, 100):
    app = tree.xpath("//div[@class='column first']/ul/li/a/@href")
    ap = app[0]
    page1 = requests.get(ap)

Ketika saya mencoba rangedengan (0,2)itu berfungsi, tetapi ketika saya meletakkan rangedi 100s itu menunjukkan kesalahan ini:

Traceback (most recent call last):
  File "/home/preetham/Desktop/eg.py", line 17, in <module>
    page1 = requests.get(ap)
  File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 55, in get
    return request('get', url, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 44, in request
    return session.request(method=method, url=url, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 383, in request
    resp = self.send(prep, **send_kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 486, in send
    r = adapter.send(request, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/adapters.py", line 378, in send
    raise ConnectionError(e)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='itunes.apple.com', port=443): Max retries exceeded with url: /in/app/adobe-reader/id469337564?mt=8 (Caused by <class 'socket.gaierror'>: [Errno -2] Name or service not known)

Apa yang terjadi di sini adalah bahwa server itunes menolak koneksi Anda (Anda mengirim terlalu banyak permintaan dari alamat ip yang sama dalam waktu singkat)

Pengulangan maks terlampaui dengan url: / in / app / adobe-reader / id469337564? Mt = 8

jejak kesalahan menyesatkan itu seharusnya sesuatu seperti "Tidak ada koneksi dapat dibuat karena mesin target secara aktif menolaknya" .

Ada masalah di tentang python.requests lib di Github, periksa di sini

Untuk mengatasi masalah ini (tidak terlalu masalah karena jejak debug yang menyesatkan), Anda harus menangkap pengecualian terkait koneksi seperti:

try:
    page1 = requests.get(ap)
except requests.exceptions.ConnectionError:
    r.status_code = "Connection refused"

Cara lain untuk mengatasi masalah ini adalah jika Anda menggunakan celah waktu yang cukup untuk mengirim permintaan ke server ini dapat dicapai dengan sleep(timeinsec)fungsi dalam python (jangan lupa untuk mengimpor sleep)

from time import sleep

Semua dalam semua permintaan adalah python lib yang luar biasa, harapan yang memecahkan masalah Anda.

Cukup gunakan requests'fitur:

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry


session = requests.Session()
retry = Retry(connect=3, backoff_factor=0.5)
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

session.get(url)

Ini akan GETURL dan coba lagi 3 kali dalam kasus requests.exceptions.ConnectionError.backoff_factorakan membantu menerapkan penundaan antar upaya untuk menghindari kegagalan lagi jika terjadi kuota permintaan berkala.

Lihatlah requests.packages.urllib3.util.retry.Retry, ia memiliki banyak opsi untuk menyederhanakan percobaan.

Lakukan saja ini,

Rekatkan kode berikut sebagai pengganti page = requests.get(url):

import time

page = ''
while page == '':
    try:
        page = requests.get(url)
        break
    except:
        print("Connection refused by the server..")
        print("Let me sleep for 5 seconds")
        print("ZZzzzz...")
        time.sleep(5)
        print("Was a nice sleep, now let me continue...")
        continue

Sama-sama :)

pip install pyopenssl sepertinya menyelesaikannya untukku.

https://github.com/requests/requests/issues/4246

Saya mendapat masalah serupa tetapi kode berikut ini berhasil untuk saya.

url = <some REST url>    
page = requests.get(url, verify=False)

"memverifikasi = Salah" menonaktifkan verifikasi SSL. Coba dan tangkap dapat ditambahkan seperti biasa.

Itu selalu baik untuk menerapkan penanganan pengecualian. Ini tidak hanya membantu untuk menghindari keluarnya script yang tidak terduga, tetapi juga dapat membantu untuk mencatat kesalahan dan pemberitahuan info. Saat menggunakan permintaan Python, saya lebih suka menangkap pengecualian seperti ini:

    try:
        res = requests.get(adress,timeout=30)
    except requests.ConnectionError as e:
        print("OOPS!! Connection Error. Make sure you are connected to Internet. Technical Details given below.\n")
        print(str(e))            
        renewIPadress()
        continue
    except requests.Timeout as e:
        print("OOPS!! Timeout Error")
        print(str(e))
        renewIPadress()
        continue
    except requests.RequestException as e:
        print("OOPS!! General Error")
        print(str(e))
        renewIPadress()
        continue
    except KeyboardInterrupt:
        print("Someone closed the program")

Di sini renewIPadress () adalah fungsi yang ditentukan pengguna yang dapat mengubah alamat IP jika diblokir. Anda dapat pergi tanpa fungsi ini.

Menentukan proksi di lingkungan perusahaan menyelesaikannya untuk saya.

page = requests.get("http://www.google.com:80", proxies={"http": "http://111.233.225.166:1234"})

Kesalahan penuh adalah:

requests.exceptions.ConnectionError: HTTPSConnectionPool (host = 'www.google.com', port = 80): Retries maksimum melebihi dengan url: / (Disebabkan oleh NewConnectionError (': Gagal membuat koneksi baru: [WinError 10060] Sebuah koneksi upaya gagal karena pihak yang terhubung tidak merespons dengan benar setelah periode waktu tertentu, atau koneksi yang dibuat gagal karena tuan rumah yang terhubung gagal merespons '))

saya tidak dapat membuatnya bekerja di windows bahkan setelah menginstal pyopenssl dan mencoba berbagai versi python (sementara itu berfungsi dengan baik pada mac), jadi saya beralih ke urllib dan bekerja pada python 3.6 (dari python .org) dan 3.7 (anaconda )

import urllib 
from urllib.request import urlopen
html = urlopen("http://pythonscraping.com/pages/page1.html")
contents = html.read()
print(contents)

Ketika saya sedang menulis skrip uji browser selenium, saya menemukan kesalahan ini ketika menelepon driver.quit()sebelum penggunaan panggilan JS api. Ingat bahwa berhenti dari webdriver adalah hal terakhir yang harus dilakukan!

Menambahkan pengalaman saya sendiri untuk mereka yang mengalami ini di masa depan. Kesalahan spesifik saya adalah

Failed to establish a new connection: [Errno 8] nodename nor servname provided, or not known'

Ternyata ini sebenarnya karena saya telah mencapai jumlah maksimum file terbuka di sistem saya. Itu tidak ada hubungannya dengan koneksi yang gagal, atau bahkan kesalahan DNS seperti yang ditunjukkan.

Menambahkan pengalaman saya sendiri:

r = requests.get(download_url)

ketika saya mencoba mengunduh file yang ditentukan di url.

Kesalahannya adalah

HTTPSConnectionPool(host, port=443): Max retries exceeded with url (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')])")))

Saya memperbaikinya dengan menambahkan verify = Falsefungsi sebagai berikut:

r = requests.get(download_url + filename)
open(filename, 'wb').write(r.content)

Tambahkan tajuk untuk permintaan ini.

headers={
'Referer': 'https://itunes.apple.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}

requests.get(ap, headers=headers)