UnicodeEncodeError: codec 'charmap' tidak dapat menyandikan karakter

Saya mencoba mengikis situs web, tetapi itu memberi saya kesalahan.

Saya menggunakan kode berikut:

import urllib.request
from bs4 import BeautifulSoup

get = urllib.request.urlopen("https://www.website.com/")
html = get.read()

soup = BeautifulSoup(html)

print(soup)

Dan saya mendapatkan kesalahan berikut:

File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined>

Apa yang bisa saya lakukan untuk memperbaikinya?

Saya mendapatkan hal yang sama UnicodeEncodeErrorketika menyimpan konten web tergores ke file. Untuk memperbaikinya saya mengganti kode ini:

with open(fname, "w") as f:
    f.write(html)

dengan ini:

import io
with io.open(fname, "w", encoding="utf-8") as f:
    f.write(html)

Menggunakan iomemberi Anda kompatibilitas dengan Python 2.

Jika Anda hanya perlu mendukung Python 3, Anda dapat menggunakan openfungsi builtin sebagai gantinya:

with open(fname, "w", encoding="utf-8") as f:
    f.write(html)

Aku tetap dengan menambahkan .encode("utf-8")ke soup.

Itu artinya print(soup)menjadi print(soup.encode("utf-8")).

Dalam Python 3.7, dan menjalankan Windows 10 ini berhasil (saya tidak yakin apakah itu akan bekerja pada platform lain dan / atau versi Python lainnya)

Mengganti baris ini:

with open('filename', 'w') as f:

Dengan ini:

with open('filename', 'w', encoding='utf-8') as f:

Alasan mengapa itu bekerja adalah karena pengkodean diubah menjadi UTF-8 saat menggunakan file, sehingga karakter dalam UTF-8 dapat dikonversi ke teks, bukannya mengembalikan kesalahan ketika bertemu dengan karakter UTF-8 yang tidak didukung oleh pengkodean saat ini.

Saat menyimpan respons permintaan dapatkan, kesalahan yang sama dilemparkan ke Python 3.7 pada jendela 10. Respons yang diterima dari URL, penyandian adalah UTF-8 sehingga selalu disarankan untuk memeriksa penyandian agar hal yang sama dapat dilewatkan untuk menghindari masalah sepele seperti itu. karena benar-benar membunuh banyak waktu dalam produksi

import requests
resp = requests.get('https://en.wikipedia.org/wiki/NIFTY_50')
print(resp.encoding)
with open ('NiftyList.txt', 'w') as f:
    f.write(resp.text)

Ketika saya menambahkan encoding = "utf-8" dengan perintah terbuka itu menyimpan file dengan respons yang benar

with open ('NiftyList.txt', 'w', encoding="utf-8") as f:
    f.write(resp.text)

Bahkan saya menghadapi masalah yang sama dengan pengkodean yang terjadi ketika Anda mencoba mencetaknya, membaca / menulis atau membukanya. Seperti yang disebutkan di atas, menambahkan .encoding = "utf-8" akan membantu jika Anda ingin mencetaknya.

soup.encode ("utf-8")

Jika Anda mencoba membuka data yang tergores dan mungkin menulisnya ke dalam file, kemudian buka file dengan (......, encoding = "utf-8")

dengan open (filename_csv, 'w', newline = '', encoding = "utf-8") sebagai csv_file:

Bagi mereka masih mendapatkan kesalahan ini, menambahkan encode("utf-8")untuk soupjuga akan memperbaiki hal ini.

soup = BeautifulSoup(html_doc, 'html.parser').encode("utf-8")
print(soup)