Hasil “untuk baris masuk…” di UnicodeDecodeError: codec 'utf-8' tidak dapat mendekode byte

241

Ini kode saya,

for line in open('u.item'):
#read each line

setiap kali saya menjalankan kode ini, ia memberikan kesalahan berikut:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 2892: invalid continuation byte

Saya mencoba menyelesaikan ini dan menambahkan parameter tambahan di open (), kodenya terlihat seperti;

for line in open('u.item', encoding='utf-8'):
#read each line

Tapi sekali lagi ini memberikan kesalahan yang sama. apa yang harus saya lakukan! Tolong bantu.

python python-3.x character-encoding

— SujitS
sumber

3

Data yang dikodekan dengan buruk menurut saya.

— Andreas Jung

9

Atau tidak hanya data UTF-8.

— Mark Tolonen

Kemungkinan duplikat dari Python 3 UnicodeDecodeError - Bagaimana cara men-debug UnicodeDecodeError?

— tripleee

Kami mengalami kesalahan ini dengan msgpack saat menggunakan python 3, bukan python 2.7. Bagi kami, tindakannya adalah bekerja dengan python 2.7.

— Jesse W. Collins

443

Seperti yang disarankan oleh Mark Ransom , saya menemukan pengkodean yang tepat untuk masalah itu. Enkode dulu "ISO-8859-1", jadi mengganti open("u.item", encoding="utf-8")dengan open('u.item', encoding = "ISO-8859-1")akan menyelesaikan masalah.

— SujitS
sumber

8

Eksplisit lebih baik daripada implisit (PEP 20).

— Ioannis Filippidis

6

Triknya adalah ISO-8859-1 atau Latin_1 adalah kumpulan karakter 8 bit, sehingga semua sampah memiliki nilai yang valid. Mungkin tidak bisa digunakan, tetapi jika Anda ingin mengabaikannya!

— Kjeld Flarup

1

Saya memiliki masalah yang sama UnicodeDecodeError: 'utf-8' codec tidak dapat memecahkan kode byte 0xd0 di posisi 32: byte kelanjutan tidak valid. Saya menggunakan python 3.6.5 untuk menginstal aws cli. Dan ketika saya mencoba aws --version gagal dengan kesalahan ini. Jadi saya harus mengedit /Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/configparser.py dan mengubah kode menjadi def read (self, filenames, encoding = "ISO-8859-1" ):

— Евгений Коптюбенко

4

Apakah ada cara otomatis untuk mendeteksi encoding?

— OrangeSherbet

8

@OrangeSherbet Saya menerapkan deteksi menggunakan chardet. Inilah satu-kapal (setelah import chardet): chardet.detect(open(in_file, 'rb').read())['encoding']. Lihat jawaban ini untuk detailnya: stackoverflow.com/a/3323810/615422

— VertigoRay

55

Juga berhasil untuk saya, ISO 8859-1 akan banyak menghemat, hahaha, terutama jika menggunakan Speech Recognition API

Contoh:

file = open('../Resources/' + filename, 'r', encoding="ISO-8859-1");

— Ryoji Kuwae Neto
sumber

4

Anda mungkin benar bahwa OP membaca ISO 8859-1, seperti yang dapat disimpulkan dari 0xe9 (é) di pesan kesalahan, tetapi Anda harus menjelaskan mengapa solusi Anda berfungsi. Referensi ke API pengenalan ucapan tidak membantu.

— RolfBly

7

Ada apa dengan titik koma?

— Kaki kanan

30

File Anda sebenarnya tidak berisi data yang dikodekan utf-8, itu berisi beberapa pengkodean lainnya. Cari tahu apa itu encoding dan gunakan dalam openpanggilan.

Dalam pengkodean Windows-1252 misalnya, 0xe9akan menjadi karakter é.

— Mark Ransom
sumber

4

Jadi, Bagaimana saya bisa mengetahui apa itu encoding! Saya menggunakan linux

— SujitS

4

Tidak ada cara untuk melakukan itu yang selalu berhasil, tetapi lihat jawaban untuk pertanyaan ini: stackoverflow.com/questions/436220/…

— RemcoGerlich

21

Coba ini untuk membaca menggunakan panda

pd.read_csv('u.item', sep='|', names=m_cols , encoding='latin-1')

— Shashank
sumber

Tidak yakin mengapa Anda menyarankan Pandas. Solusinya adalah menyetel pengkodean yang benar, yang kebetulan Anda temukan di sini.

— Alastair McCormack

13

Jika Anda menggunakan Python 2solusi berikut ini:

import io
for line in io.open("u.item", encoding="ISO-8859-1"):
    # do something

Karena encodingparameter tidak berfungsi open(), Anda akan mendapatkan kesalahan berikut:

TypeError: 'encoding' adalah argumen kata kunci yang tidak valid untuk fungsi ini

— Jeril
sumber

1

Tapi ini versi 3

— SujitS

1

Ya aku tahu. Saya pikir ini mungkin berguna bagi orang-orang yang menggunakanPython 2

— Jeril

Bekerja untuk saya dengan Python3 juga

— fenkerbb

2

Jika Anda menginginkan sesuatu yang lebih mudah diingat, 'ISO-8859-1'juga dikenal sebagai 'latin-1'atau 'latin1'.

— Max Candocia

11

Anda dapat menyelesaikan masalah dengan:

for line in open(your_file_path, 'rb'):

'rb' sedang membaca file dalam mode biner. Baca lebih lanjut di sini . Semoga ini bisa membantu!

— Ozcar Nguyen
sumber

9

Ini bekerja:

open('filename', encoding='latin-1')

atau:

open('filename',encoding="ISO-8859-1")

— Ayesha Siddiqa
sumber

3

Anda bisa mencoba cara ini:

open('u.item', encoding='utf8', errors='ignore')

— FaridLU
sumber

Ini tidak memberikan jawaban atas pertanyaan tersebut. Untuk mengkritik atau meminta klarifikasi dari seorang penulis, tinggalkan komentar di bawah postingannya. - Dari Ulasan

— MartenCatcher

2

Jika seseorang mencari ini, ini adalah contoh untuk mengonversi file CSV dengan Python 3:

try:
    inputReader = csv.reader(open(argv[1], encoding='ISO-8859-1'), delimiter=',',quotechar='"')
except IOError:
    pass

— pengguna6832484
sumber

2

Terkadang ketika open(filepath)yang filepathsebenarnya bukan file akan mendapatkan kesalahan yang sama, jadi pertama-tama pastikan file yang Anda coba buka ada:

import os
assert os.path.isfile(filepath)

semoga ini bisa membantu.

— xtluo.dll
sumber