UnicodeDecodeError: 'utf8' codec tidak dapat mendekode byte 0x9c

Saya memiliki server soket yang seharusnya menerima karakter valid UTF-8 dari klien.

Masalahnya adalah beberapa klien (terutama peretas) mengirimkan semua jenis data yang salah di atasnya.

Saya dapat dengan mudah membedakan klien asli, tetapi saya masuk ke file semua data yang dikirim sehingga saya bisa menganalisisnya nanti.

Terkadang saya mendapatkan karakter seperti ini œyang menyebabkan UnicodeDecodeErrorkesalahan.

Saya harus bisa membuat string UTF-8 dengan atau tanpa karakter tersebut.

Memperbarui:

Untuk kasus khusus saya, layanan socket adalah MTA dan karenanya saya hanya berharap untuk menerima perintah ASCII seperti:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

Saya mencatat semua ini di JSON.

Kemudian beberapa orang di luar sana tanpa niat baik memutuskan untuk menjual semua jenis sampah.

Itulah sebabnya untuk kasus khusus saya, sangat oke untuk menghapus karakter non ASCII.

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

atau

str = unicode(str, errors='ignore')

Catatan: Ini akan menghapus (mengabaikan) karakter yang dimaksud mengembalikan string tanpa mereka.

Bagi saya ini adalah kasus yang ideal karena saya menggunakannya sebagai perlindungan terhadap input non-ASCII yang tidak diizinkan oleh aplikasi saya.

Atau: Gunakan metode terbuka dari codecsmodul untuk membaca dalam file:

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

Mengubah mesin dari C ke Python melakukan trik untuk saya.

Engine adalah C:

pd.read_csv(gdp_path, sep='\t', engine='c')

Codec 'utf-8' tidak dapat mendekode byte 0x92 di posisi 18: byte start tidak valid

Engine adalah Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

Tidak ada kesalahan untuk saya.

Jenis masalah ini muncul bagi saya sekarang karena saya sudah pindah ke Python 3. Saya tidak tahu Python 2 hanya menggulung masalah dengan encoding file.

Saya menemukan penjelasan yang bagus tentang perbedaan ini dan bagaimana menemukan solusi setelah tidak ada yang berhasil bagi saya.

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

Singkatnya, untuk membuat Python 3 berperilaku semirip mungkin dengan Python 2 gunakan:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

Namun, baca artikelnya, tidak ada satu ukuran cocok untuk semua solusi.

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

Saya memiliki masalah yang sama dengan UnicodeDecodeErrordan saya menyelesaikannya dengan baris ini. Tidak tahu apakah itu cara terbaik tetapi itu berhasil untuk saya.

str = str.decode('unicode_escape').encode('utf-8')

yang pertama, Menggunakan get_encoding_type untuk mendapatkan tipe file encode:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

yang kedua, buka file dengan tipe:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

Hanya dalam kasus seseorang memiliki masalah yang sama. Saya menggunakan vim dengan YouCompleteMe , gagal memulai ycmd dengan pesan kesalahan ini, yang saya lakukan adalah:, export LC_CTYPE="en_US.UTF-8"masalahnya hilang.

Apa yang dapat Anda lakukan jika Anda perlu membuat perubahan ke file, tetapi tidak tahu penyandian file? Jika Anda tahu penyandiannya kompatibel dengan ASCII dan hanya ingin memeriksa atau memodifikasi bagian ASCII, Anda dapat membuka file dengan penangan kesalahan surrogateescape:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

Saya telah memecahkan masalah ini hanya dengan menambahkan

df = pd.read_csv(fileName,encoding='latin1')