Biarkan objek JSON menerima byte atau membiarkan string keluaran urlopen

Dengan Python 3 saya meminta dokumen json dari URL.

response = urllib.request.urlopen(request)

The responseobjek adalah objek file seperti dengan readdan readlinemetode. Biasanya objek JSON dapat dibuat dengan file yang dibuka dalam mode teks.

obj = json.load(fp)

Yang ingin saya lakukan adalah:

obj = json.load(response)

Namun ini tidak berfungsi karena urlopen mengembalikan objek file dalam mode biner.

Pekerjaan di sekitar tentu saja:

str_response = response.read().decode('utf-8')
obj = json.loads(str_response)

tapi ini terasa buruk ...

Apakah ada cara yang lebih baik untuk mengubah objek file byte menjadi objek file string? Atau apakah saya kehilangan parameter untuk salah satu urlopenatau json.loadmemberikan pengkodean?

HTTP mengirim byte. Jika sumber daya yang dimaksud adalah teks, pengkodean karakter biasanya ditentukan, baik dengan header HTTP Content-Type atau dengan mekanisme lain (RFC, HTML meta http-equiv, ...).

urllib harus tahu cara menyandikan byte ke string, tapi terlalu naif — itu perpustakaan yang sangat kurang bertenaga dan tidak Pythonic.

Dive Into Python 3 memberikan ikhtisar tentang situasi tersebut.

"Kerjakan" Anda baik-baik saja — meskipun rasanya salah, itu cara yang tepat untuk melakukannya.

Perpustakaan standar Python yang luar biasa untuk menyelamatkan ...

import codecs

reader = codecs.getreader("utf-8")
obj = json.load(reader(response))

Bekerja dengan kedua py2 dan py3.

Docs: Python 2 , Python3

Saya berpendapat bahwa pertanyaannya adalah jawaban terbaik :)

import json
from urllib.request import urlopen

response = urlopen("site.com/api/foo/bar").read().decode('utf8')
obj = json.loads(response)

Untuk siapa pun yang mencoba menyelesaikan ini menggunakan requestsperpustakaan:

import json
import requests

r = requests.get('http://localhost/index.json')
r.raise_for_status()
# works for Python2 and Python3
json.loads(r.content.decode('utf-8'))

Yang ini berfungsi untuk saya, saya menggunakan perpustakaan 'permintaan' dengan json()memeriksa dokumen dalam permintaan untuk manusia

import requests

url = 'here goes your url'

obj = requests.get(url).json() 

Saya mengalami masalah yang sama menggunakan Python 3.4.3 & 3.5.2 dan Django 1.11.3. Namun, ketika saya memutakhirkan ke Python 3.6.1 masalah hilang.

Anda dapat membaca lebih lanjut tentang ini di sini: https://docs.python.org/3/whatsnew/3.6.html#json

Jika Anda tidak terikat dengan versi Python tertentu, cukup pertimbangkan untuk meningkatkan ke 3.6 atau yang lebih baru.

Jika Anda mengalami masalah ini saat menggunakan mikroframework flask, maka Anda bisa melakukannya:

data = json.loads(response.get_data(as_text=True))

Dari dokumen : "Jika as_text disetel ke True nilai kembalian akan menjadi string unicode yang didekodekan"

Solusi Anda sebenarnya baru saja menyelamatkan saya. Saya mengalami banyak masalah saat memproses permintaan menggunakan kerangka kerja Falcon. Ini berhasil untuk saya. req menjadi bentuk permintaan ikal pr httpie

json.loads(req.stream.read().decode('utf-8'))

Ini akan mengalirkan data byte ke json.

import io

obj = json.load(io.TextIOWrapper(response))

io.TextIOWrapper lebih disukai daripada pembaca modul codec. https://www.python.org/dev/peps/pep-0400/

Baru saja menemukan metode sederhana ini untuk menjadikan konten HttpResponse sebagai json

import json

request = RequestFactory() # ignore this, this just like your request object

response = MyView.as_view()(request) # got response as HttpResponse object

response.render() # call this so we could call response.content after

json_response = json.loads(response.content.decode('utf-8'))

print(json_response) # {"your_json_key": "your json value"}

Semoga itu bisa membantu Anda

Pada Python 3.6, Anda bisa menggunakan json.loads()deserialize bytesobjek secara langsung (pengkodean harus UTF-8, UTF-16 atau UTF-32). Jadi, hanya menggunakan modul dari perpustakaan standar, Anda dapat melakukan:

import json
from urllib import request

response = request.urlopen(url).read()
data = json.loads(response)

Saya menggunakan program di bawah ini untuk menggunakan json.loads()

import urllib.request
import json
endpoint = 'https://maps.googleapis.com/maps/api/directions/json?'
api_key = 'AIzaSyABbKiwfzv9vLBR_kCuhO7w13Kseu68lr0'
origin = input('where are you ?').replace(' ','+')
destination = input('where do u want to go').replace(' ','+')
nav_request = 'origin={}&destination={}&key={}'.format(origin,destination,api_key)
request = endpoint + nav_request
response = urllib.request.urlopen(request).read().decode('utf-8')
directions = json.loads(response)
print(directions)