Konversi byte ke string

Saya menggunakan kode ini untuk mendapatkan output standar dari program eksternal:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]

Metode berkomunikasi () mengembalikan array byte:

>>> command_stdout
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Namun, saya ingin bekerja dengan output sebagai string Python normal. Sehingga saya bisa mencetaknya seperti ini:

>>> print(command_stdout)
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Saya pikir itulah gunanya metode binascii.b2a_qp () , tetapi ketika saya mencobanya, saya mendapatkan array byte yang sama lagi:

>>> binascii.b2a_qp(command_stdout)
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Bagaimana cara mengubah nilai byte kembali ke string? Maksud saya, menggunakan "baterai" alih-alih melakukannya secara manual. Dan saya ingin itu baik-baik saja dengan Python 3.

Anda perlu mendekode objek byte untuk menghasilkan string:

>>> b"abcde"
b'abcde'

# utf-8 is used here because it is a very common encoding, but you
# need to use the encoding your data is actually in.
>>> b"abcde".decode("utf-8") 
'abcde'

Anda perlu men-decode string byte dan mengubahnya menjadi string karakter (Unicode).

Di Python 2

encoding = 'utf-8'
'hello'.decode(encoding)

atau

unicode('hello', encoding)

Di Python 3

encoding = 'utf-8'
b'hello'.decode(encoding)

atau

str(b'hello', encoding)

Saya pikir cara ini mudah:

>>> bytes_data = [112, 52, 52]
>>> "".join(map(chr, bytes_data))
'p44'

Jika Anda tidak tahu pengkodeannya, maka untuk membaca input biner ke dalam string dengan cara yang kompatibel dengan Python 3 dan Python 2, gunakan pengkodean MS-DOS CP437 kuno :

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('cp437'))

Karena pengodean tidak diketahui, harap simbol non-Inggris untuk menerjemahkan ke karakter cp437(karakter bahasa Inggris tidak diterjemahkan, karena mereka cocok di sebagian besar pengkodean byte tunggal dan UTF-8).

Mendekode input biner acak ke UTF-8 tidak aman, karena Anda mungkin mendapatkan ini:

>>> b'\x00\x01\xffsd'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 2: invalid
start byte

Hal yang sama berlaku untuk latin-1, yang populer (default?) Untuk Python 2. Lihat poin yang hilang dalam Tata Letak Codepage - ini adalah tempat Python tersedak dengan terkenal ordinal not in range.

UPDATE 20150604 : Ada desas-desus bahwa Python 3 memiliki surrogateescapestrategi kesalahan untuk pengkodean hal-hal menjadi data biner tanpa kehilangan data dan crash, tetapi perlu tes konversi [binary] -> [str] -> [binary],, untuk memvalidasi kinerja dan keandalan.

UPDATE 20170116 : Berkat komentar dari Nearoo - ada juga kemungkinan untuk memangkas semua byte yang tidak diketahui dengan backslashreplacepenangan kesalahan. Itu hanya berfungsi untuk Python 3, jadi meskipun dengan solusi ini Anda masih akan mendapatkan output yang tidak konsisten dari versi Python yang berbeda:

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('utf-8', 'backslashreplace'))

Lihat Dukungan Unicode Python untuk detailnya.

UPDATE 20170119 : Saya memutuskan untuk mengimplementasikan slash escaping decode yang berfungsi baik untuk Python 2 dan Python 3. Seharusnya lebih lambat daripada cp437solusinya, tetapi harus menghasilkan hasil yang identik pada setiap versi Python.

# --- preparation

import codecs

def slashescape(err):
    """ codecs error handler. err is UnicodeDecode instance. return
    a tuple with a replacement for the unencodable part of the input
    and a position where encoding should continue"""
    #print err, dir(err), err.start, err.end, err.object[:err.start]
    thebyte = err.object[err.start:err.end]
    repl = u'\\x'+hex(ord(thebyte))[2:]
    return (repl, err.end)

codecs.register_error('slashescape', slashescape)

# --- processing

stream = [b'\x80abc']

lines = []
for line in stream:
    lines.append(line.decode('utf-8', 'slashescape'))

Di Python 3 , penyandian default adalah "utf-8", sehingga Anda dapat langsung menggunakan:

b'hello'.decode()

yang setara dengan

b'hello'.decode(encoding="utf-8")

Di sisi lain, dalam Python 2 , pengkodean default ke pengkodean string default. Jadi, Anda harus menggunakan:

b'hello'.decode(encoding)

di mana encodingpengkodean yang Anda inginkan.

Catatan: dukungan untuk argumen kata kunci ditambahkan dalam Python 2.7.

Saya pikir Anda benar-benar menginginkan ini:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]
>>> command_text = command_stdout.decode(encoding='windows-1252')

Jawaban Harun benar, kecuali bahwa Anda perlu tahu pengkodean mana yang harus digunakan. Dan saya percaya bahwa Windows menggunakan 'windows-1252'. Itu hanya masalah jika Anda memiliki beberapa karakter yang tidak biasa (non-ASCII) di konten Anda, tetapi kemudian akan membuat perbedaan.

By the way, fakta bahwa itu tidak peduli adalah alasan bahwa Python pindah ke menggunakan dua jenis yang berbeda untuk data biner dan teks: tidak dapat mengkonversi ajaib di antara mereka, karena tidak tahu pengkodean kecuali Anda kirim! Satu-satunya cara ANDA akan tahu adalah membaca dokumentasi Windows (atau membacanya di sini).

Set universal_newlines ke True, yaitu

command_stdout = Popen(['ls', '-l'], stdout=PIPE, universal_newlines=True).communicate()[0]

Sementara jawaban @Aaron Maenpaa hanya berfungsi, pengguna baru-baru ini bertanya :

Apakah ada cara lain yang lebih sederhana? 'fhand.read (). decode ("ASCII")' [...] Ini sangat panjang!

Kamu bisa menggunakan:

command_stdout.decode()

decode()memiliki argumen standar :

codecs.decode(obj, encoding='utf-8', errors='strict')

Untuk menafsirkan urutan byte sebagai teks, Anda harus mengetahui pengkodean karakter yang sesuai:

unicode_text = bytestring.decode(character_encoding)

Contoh:

>>> b'\xc2\xb5'.decode('utf-8')
'µ'

lsperintah dapat menghasilkan output yang tidak dapat diartikan sebagai teks. Nama file di Unix dapat berupa urutan byte apa pun kecuali garis miring b'/'dan nol b'\0':

>>> open(bytes(range(0x100)).translate(None, b'\0/'), 'w').close()

Mencoba untuk men-decode sup byte seperti itu menggunakan kenaikan gaji utf-8 UnicodeDecodeError.

Itu bisa lebih buruk. Dekoding mungkin gagal secara diam-diam dan menghasilkan mojibake jika Anda menggunakan penyandian yang tidak kompatibel yang salah:

>>> '—'.encode('utf-8').decode('cp1252')
'—'

Data rusak tetapi program Anda tetap tidak menyadari bahwa telah terjadi kegagalan.

Secara umum, pengkodean karakter apa yang digunakan tidak tertanam dalam urutan byte itu sendiri. Anda harus mengkomunikasikan info ini keluar-dari-band. Beberapa hasil lebih mungkin daripada yang lain dan karena itu chardetada modul yang dapat menebak pengkodean karakter. Sebuah skrip Python tunggal dapat menggunakan beberapa pengkodean karakter di tempat yang berbeda.

lsoutput dapat dikonversi ke string Python menggunakan os.fsdecode() fungsi yang berhasil bahkan untuk nama file yang tidak dapat didekodekan (menggunakan sys.getfilesystemencoding()dan surrogateescapepenangan kesalahan di Unix):

import os
import subprocess

output = os.fsdecode(subprocess.check_output('ls'))

Untuk mendapatkan byte asli, Anda bisa menggunakan os.fsencode().

Jika Anda melewatkan universal_newlines=Trueparameter kemudian subprocessgunakan locale.getpreferredencoding(False)untuk mendekode byte misalnya, itu bisa cp1252di Windows.

Untuk mendekode byte stream on-the-fly, io.TextIOWrapper() dapat digunakan: contoh .

Perintah yang berbeda dapat menggunakan pengkodean karakter yang berbeda untuk keluarannya misalnya, dirperintah internal ( cmd) dapat menggunakan cp437. Untuk mendekode outputnya, Anda bisa meneruskan penyandian secara eksplisit (Python 3.6+):

output = subprocess.check_output('dir', shell=True, encoding='cp437')

Nama file mungkin berbeda dari os.listdir()(yang menggunakan Windows Unicode API) misalnya, '\xb6'dapat diganti dengan '\x14'peta codec cp437 -Python b'\x14'untuk mengontrol karakter U + 0014 alih-alih U + 00B6 (¶). Untuk mendukung nama file dengan karakter Unicode yang arbitrer, lihat Decode PowerShell output yang mungkin mengandung karakter Unicode non-ASCII menjadi string Python

Karena pertanyaan ini sebenarnya menanyakan tentang subprocesskeluaran, Anda memiliki pendekatan yang lebih langsung karena Popenmenerima kata kunci pengodean (dengan Python 3.6+):

>>> from subprocess import Popen, PIPE
>>> text = Popen(['ls', '-l'], stdout=PIPE, encoding='utf-8').communicate()[0]
>>> type(text)
str
>>> print(text)
total 0
-rw-r--r-- 1 wim badger 0 May 31 12:45 some_file.txt

Jawaban umum untuk pengguna lain adalah mendekode byte ke teks:

>>> b'abcde'.decode()
'abcde'

Tanpa argumen, sys.getdefaultencoding()akan digunakan. Jika data Anda tidak sys.getdefaultencoding(), maka Anda harus menentukan pengkodean secara eksplisit dalam decodepanggilan:

>>> b'caf\xe9'.decode('cp1250')
'café'

Jika Anda harus mendapatkan yang berikut dengan mencoba decode():

AttributeError: objek 'str' tidak memiliki atribut 'decode'

Anda juga dapat menentukan jenis penyandian lurus dalam gips:

>>> my_byte_str
b'Hello World'

>>> str(my_byte_str, 'utf-8')
'Hello World'

Ketika bekerja dengan data dari sistem Windows (dengan \r\nujung garis), jawaban saya adalah

String = Bytes.decode("utf-8").replace("\r\n", "\n")

Mengapa? Coba ini dengan Input.txt multiline:

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8")
open("Output.txt", "w").write(String)

Semua ujung garis Anda akan digandakan (ke \r\r\n), mengarah ke garis kosong ekstra. Fungsi membaca teks Python biasanya menormalkan akhir baris sehingga string hanya digunakan \n. Jika Anda menerima data biner dari sistem Windows, Python tidak memiliki kesempatan untuk melakukan itu. Jadi,

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8").replace("\r\n", "\n")
open("Output.txt", "w").write(String)

akan mereplikasi file asli Anda.

Saya membuat fungsi untuk membersihkan daftar

def cleanLists(self, lista):
    lista = [x.strip() for x in lista]
    lista = [x.replace('\n', '') for x in lista]
    lista = [x.replace('\b', '') for x in lista]
    lista = [x.encode('utf8') for x in lista]
    lista = [x.decode('utf8') for x in lista]

    return lista

Untuk Python 3, ini adalah pendekatan yang jauh lebih aman dan Pythonic untuk dikonversi dari byteke string:

def byte_to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes): # Check if it's in bytes
        print(bytes_or_str.decode('utf-8'))
    else:
        print("Object not of byte type")

byte_to_str(b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n')

Keluaran:

total 0
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Dari sys - Parameter dan fungsi khusus sistem :

Untuk menulis atau membaca data biner dari / ke stream standar, gunakan buffer biner yang mendasarinya. Misalnya, untuk menulis byte ke stdout, gunakan sys.stdout.buffer.write(b'abc').

def toString(string):    
    try:
        return v.decode("utf-8")
    except ValueError:
        return string

b = b'97.080.500'
s = '97.080.500'
print(toString(b))
print(toString(s))

Untuk kasus spesifik Anda "jalankan perintah shell dan dapatkan output sebagai teks alih-alih byte", pada Python 3.7, Anda harus menggunakan subprocess.rundan meneruskan text=True(dan juga capture_output=Trueuntuk menangkap output)

command_result = subprocess.run(["ls", "-l"], capture_output=True, text=True)
command_result.stdout  # is a `str` containing your program's stdout

textdulu dipanggil universal_newlines, dan diubah (well, alias) dalam Python 3.7. Jika Anda ingin mendukung versi Python sebelum 3.7, berikan universal_newlines=Truealih-alihtext=True

Jika Anda ingin mengonversi byte apa pun, bukan hanya string yang dikonversi ke byte:

with open("bytesfile", "rb") as infile:
    str = base64.b85encode(imageFile.read())

with open("bytesfile", "rb") as infile:
    str2 = json.dumps(list(infile.read()))

Namun, ini tidak terlalu efisien. Ini akan mengubah gambar 2 MB menjadi 9 MB.

coba ini

bytes.fromhex('c3a9').decode('utf-8')