Bagaimana saya bisa menggunakan permintaan di asyncio?

Saya ingin melakukan tugas permintaan http paralel asyncio, tetapi saya menemukan bahwa itu python-requestsakan memblokir loop peristiwa asyncio. Saya telah menemukan aiohttp tetapi tidak dapat menyediakan layanan permintaan http menggunakan proxy http.

Jadi saya ingin tahu apakah ada cara untuk melakukan permintaan http asinkron dengan bantuan asyncio.

Untuk menggunakan permintaan (atau pustaka pemblokiran lainnya) dengan asyncio, Anda bisa menggunakan BaseEventLoop.run_in_executor untuk menjalankan fungsi di utas lain dan menghasilkan darinya untuk mendapatkan hasilnya. Sebagai contoh:

import asyncio
import requests

@asyncio.coroutine
def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = yield from future1
    response2 = yield from future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Ini akan mendapatkan kedua respons secara paralel.

Dengan python 3.5 Anda dapat menggunakan await/ asyncsintaks baru:

import asyncio
import requests

async def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = await future1
    response2 = await future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Lihat PEP0492 untuk lebih lanjut.

aiohttp sudah bisa digunakan dengan proxy HTTP:

import asyncio
import aiohttp


@asyncio.coroutine
def do_request():
    proxy_url = 'http://localhost:8118'  # your proxy address
    response = yield from aiohttp.request(
        'GET', 'http://google.com',
        proxy=proxy_url,
    )
    return response

loop = asyncio.get_event_loop()
loop.run_until_complete(do_request())

Jawaban di atas masih menggunakan coroutine style Python 3.4 lama. Inilah yang akan Anda tulis jika Anda mendapat Python 3.5+.

aiohttp mendukung proksi http sekarang

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
            'http://python.org',
            'https://google.com',
            'http://yifei.me'
        ]
    tasks = []
    async with aiohttp.ClientSession() as session:
        for url in urls:
            tasks.append(fetch(session, url))
        htmls = await asyncio.gather(*tasks)
        for html in htmls:
            print(html[:100])

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

Permintaan saat ini tidak mendukung asynciodan tidak ada rencana untuk memberikan dukungan tersebut. Kemungkinan Anda dapat menerapkan "Transport Adapter" khusus (seperti yang dibahas di sini ) yang tahu cara menggunakannya asyncio.

Jika saya menemukan diri saya dengan beberapa waktu itu adalah sesuatu yang saya mungkin benar-benar melihat ke dalam, tetapi saya tidak bisa menjanjikan apa pun.

Ada beberapa kasus async / menunggu loop dan threading dalam artikel oleh Pimin Konstantin Kefaloukos Permintaan HTTP paralel yang mudah dengan Python dan asyncio :

Untuk meminimalkan total waktu penyelesaian, kami dapat menambah ukuran kumpulan utas agar sesuai dengan jumlah permintaan yang harus kami buat. Untungnya, ini mudah dilakukan karena akan kita lihat selanjutnya. Daftar kode di bawah ini adalah contoh cara membuat dua puluh permintaan HTTP asinkron dengan kumpulan utas dari dua utas pekerja:

# Example 3: asynchronous requests with larger thread pool
import asyncio
import concurrent.futures
import requests

async def main():

    with concurrent.futures.ThreadPoolExecutor(max_workers=20) as executor:

        loop = asyncio.get_event_loop()
        futures = [
            loop.run_in_executor(
                executor, 
                requests.get, 
                'http://example.org/'
            )
            for i in range(20)
        ]
        for response in await asyncio.gather(*futures):
            pass


loop = asyncio.get_event_loop()
loop.run_until_complete(main())