Python, Unicode, dan konsol Windows

Ketika saya mencoba untuk mencetak string Unicode di konsol Windows, saya mendapatkan UnicodeEncodeError: 'charmap' codec can't encode character ....kesalahan. Saya berasumsi ini karena konsol Windows tidak menerima karakter Unicode-only. Apa cara terbaik untuk mengatasi ini? Apakah ada cara saya dapat membuat Python secara otomatis mencetak ?alih - alih gagal dalam situasi ini?

Sunting: Saya menggunakan Python 2.5.

Catatan: @ LasseV.Karlsen menjawab dengan tanda centang agak ketinggalan jaman (dari 2008). Silakan gunakan solusi / jawaban / saran di bawah ini dengan hati-hati !!

Jawaban @JFSebastian lebih relevan mulai hari ini (6 Jan 2016).

Catatan: Jawaban ini agak ketinggalan jaman (dari 2008). Silakan gunakan solusi di bawah ini dengan hati-hati !!

Berikut adalah halaman yang merinci masalah dan solusinya (cari halaman untuk teks Wrapping sys.stdout menjadi contoh ):

PrintFails - Python Wiki

Berikut kutipan kode dari halaman itu:

$ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line'
  UTF-8
  <type 'unicode'> 2
  Б
  Б

  $ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line' | cat
  None
  <type 'unicode'> 2
  Б
  Б

Ada beberapa informasi lebih lanjut di halaman itu, layak dibaca.

Pembaruan: Python 3.6 mengimplementasikan PEP 528: Ubah pengkodean konsol Windows ke UTF-8 : konsol default pada Windows sekarang akan menerima semua karakter Unicode. Secara internal, ia menggunakan Unicode API yang sama dengan win-unicode-consolepaket yang disebutkan di bawah ini . print(unicode_string)seharusnya hanya bekerja sekarang.

Saya mendapatkan UnicodeEncodeError: 'charmap' codec can't encode character... kesalahan.

Kesalahan berarti bahwa karakter Unicode yang Anda coba cetak tidak dapat diwakili menggunakan chcppengkodean karakter konsol saat ini ( ). Codepage tersebut sering berupa penyandian 8-bit seperticp437 yang hanya bisa mewakili ~ 0x100 karakter dari ~ 1M karakter Unicode:

>>> u "\ N {TANDA EURO}". encode ('cp437')
Traceback (panggilan terakhir terakhir):
...
UnicodeEncodeError: 'charmap' codec tidak dapat menyandikan karakter '\ u20ac' di posisi 0:
peta karakter ke 

Saya berasumsi ini karena konsol Windows tidak menerima karakter Unicode-only. Apa cara terbaik untuk mengatasi ini?

Konsol Windows tidak menerima karakter Unicode dan bahkan dapat menampilkannya (hanya BMP) jika font yang sesuai dikonfigurasi . WriteConsoleW()API harus digunakan seperti yang disarankan dalam jawaban @Daira Hopwood . Itu bisa disebut transparan yaitu, Anda tidak perlu dan tidak boleh memodifikasi skrip Anda jika Anda menggunakan win-unicode-consolepaket :

T:\> py -mpip install win-unicode-console
T:\> py -mrun your_script.py

Lihat Apa masalahnya dengan Python 3.4, Unicode, berbagai bahasa dan Windows?

Apakah ada cara saya dapat membuat Python secara otomatis mencetak ?alih - alih gagal dalam situasi ini?

Jika cukup dengan mengganti semua karakter yang tidak dapat dihapus dengan ?dalam kasus Anda maka Anda dapat mengatur PYTHONIOENCODINGenvvar :

T:\> set PYTHONIOENCODING=:replace
T:\> python3 -c "print(u'[\N{EURO SIGN}]')"
[?]

Dalam Python 3.6+, pengkodean yang ditentukan oleh PYTHONIOENCODINGenvvar diabaikan untuk buffer konsol interaktif kecuali PYTHONLEGACYWINDOWSIOENCODINGenvvar diatur ke string yang tidak kosong.

Meskipun jawaban terdengar masuk akal lainnya yang menyarankan mengubah halaman kode ke 65001, itu tidak bekerja . (Juga, mengubah default encoding menggunakan sys.setdefaultencodingadalah bukan ide yang baik .)

Lihat pertanyaan ini untuk detail dan kode yang berfungsi.

Jika Anda tidak tertarik untuk mendapatkan representasi karakter buruk yang dapat diandalkan, Anda dapat menggunakan sesuatu seperti ini (bekerja dengan python> = 2.6, termasuk 3.x):

from __future__ import print_function
import sys

def safeprint(s):
    try:
        print(s)
    except UnicodeEncodeError:
        if sys.version_info >= (3,):
            print(s.encode('utf8').decode(sys.stdout.encoding))
        else:
            print(s.encode('utf8'))

safeprint(u"\N{EM DASH}")

Karakter buruk dalam string akan dikonversi dalam representasi yang dapat dicetak oleh konsol Windows.

Kode di bawah ini akan membuat output Python ke konsol sebagai UTF-8 bahkan di Windows.

Konsol akan menampilkan karakter dengan baik di Windows 7 tetapi pada Windows XP tidak akan menampilkannya dengan baik, tetapi setidaknya itu akan berfungsi dan yang paling penting Anda akan memiliki output yang konsisten dari skrip Anda di semua platform. Anda akan dapat mengarahkan output ke file.

Kode di bawah ini diuji dengan Python 2.6 pada Windows.

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import codecs, sys

reload(sys)
sys.setdefaultencoding('utf-8')

print sys.getdefaultencoding()

if sys.platform == 'win32':
    try:
        import win32console 
    except:
        print "Python Win32 Extensions module is required.\n You can download it from https://sourceforge.net/projects/pywin32/ (x86 and x64 builds are available)\n"
        exit(-1)
    # win32console implementation  of SetConsoleCP does not return a value
    # CP_UTF8 = 65001
    win32console.SetConsoleCP(65001)
    if (win32console.GetConsoleCP() != 65001):
        raise Exception ("Cannot set console codepage to 65001 (UTF-8)")
    win32console.SetConsoleOutputCP(65001)
    if (win32console.GetConsoleOutputCP() != 65001):
        raise Exception ("Cannot set console output codepage to 65001 (UTF-8)")

#import sys, codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
sys.stderr = codecs.getwriter('utf8')(sys.stderr)

print "This is an Е乂αmp١ȅ testing Unicode support using Arabic, Latin, Cyrillic, Greek, Hebrew and CJK code points.\n"

Cukup masukkan kode ini di baris perintah sebelum menjalankan skrip python:

chcp 65001 & set PYTHONIOENCODING=utf-8

Seperti jawaban Giampaolo Rodolà, tetapi bahkan lebih kotor: Saya benar-benar bermaksud menghabiskan waktu lama (segera) untuk memahami seluruh subjek pengkodean dan bagaimana mereka berlaku untuk konsol Windoze,

Untuk saat ini saya hanya ingin sthg yang berarti program saya TIDAK akan rusak, dan yang saya mengerti ... dan juga yang tidak melibatkan mengimpor terlalu banyak modul eksotis (khususnya saya menggunakan Jython, jadi separuh waktu Python Modul ternyata tidak tersedia).

def pr(s):
    try:
        print(s)
    except UnicodeEncodeError:
        for c in s:
            try:
                print( c, end='')
            except UnicodeEncodeError:
                print( '?', end='')

NB "pr" lebih pendek daripada "print" (dan sedikit lebih pendek untuk mengetik daripada "safeprint") ...!

Untuk Python 2 coba:

print unicode(string, 'unicode-escape')

Untuk Python 3 coba:

import os
string = "002 Could've Would've Should've"
os.system('echo ' + string)

Atau coba win-unicode-console:

pip install win-unicode-console
py -mrun your_script.py

TL; DR:

print(yourstring.encode('ascii','replace'));

Saya mengalami ini sendiri, mengerjakan bot Twitch chat (IRC). (Python 2.7 terbaru)

Saya ingin menguraikan pesan obrolan untuk menanggapi ...

msg = s.recv(1024).decode("utf-8")

tetapi juga mencetaknya dengan aman ke konsol dalam format yang dapat dibaca manusia:

print(msg.encode('ascii','replace'));

Ini memperbaiki masalah UnicodeEncodeError: 'charmap'kesalahan melempar bot dan mengganti karakter unicode dengan ?.

Penyebab masalah Anda BUKAN konsol Win tidak mau menerima Unicode (seperti ini karena saya kira Win2k secara default). Ini adalah penyandian sistem default. Coba kode ini dan lihat apa yang memberi Anda:

import sys
sys.getdefaultencoding()

jika dikatakan ascii, itu penyebab Anda ;-) Anda harus membuat file bernama sitecustomize.py dan meletakkannya di bawah jalur python (saya meletakkannya di bawah /usr/lib/python2.5/site-packages, tapi itu berbeda pada Menang - ini adalah c: \ python \ lib \ situs-paket atau sesuatu), dengan konten berikut:

import sys
sys.setdefaultencoding('utf-8')

dan mungkin Anda mungkin ingin menentukan pengkodean dalam file Anda juga:

# -*- coding: UTF-8 -*-
import sys,time

Sunting: info lebih lanjut dapat ditemukan di buku Dive into Python

Agak terkait dengan jawaban oleh JF Sebastian, tetapi lebih langsung.

Jika Anda mengalami masalah ini saat mencetak ke konsol / terminal, maka lakukan ini:

>set PYTHONIOENCODING=UTF-8

Python 3.6 windows7: Ada beberapa cara untuk meluncurkan python Anda bisa menggunakan konsol python (yang memiliki logo python di atasnya) atau konsol windows (ada tertulis cmd.exe di atasnya).

Saya tidak dapat mencetak karakter utf8 di konsol windows. Mencetak utf-8 karakter membuat saya kesalahan ini:

OSError: [winError 87] The paraneter is incorrect 
Exception ignored in: (_io-TextIOwrapper name='(stdout)' mode='w' ' encoding='utf8') 
OSError: [WinError 87] The parameter is incorrect 

Setelah mencoba dan gagal untuk memahami jawaban di atas saya menemukan itu hanya masalah pengaturan. Klik kanan di bagian atas jendela konsol cmd, pada tab fontpilih konsol lucida.

James Sulak bertanya,

Apakah ada cara saya dapat membuat Python mencetak secara otomatis? bukannya gagal dalam situasi ini?

Solusi lain menyarankan agar kami mencoba mengubah lingkungan Windows atau mengganti print()fungsi Python . Jawaban di bawah ini semakin mendekati untuk memenuhi permintaan Sulak.

Di bawah Windows 7, Python 3.5 dapat dibuat untuk mencetak Unicode tanpa melempar UnicodeEncodeErrorsebagai berikut:

    Di tempat:     print(text)
    pengganti:     print(str(text).encode('utf-8'))

Alih-alih melempar pengecualian, Python sekarang menampilkan karakter Unicode yang tidak dapat dicetak sebagai \ xNN kode hex, misalnya:

  Halmalo n \ xe2 \ x80 \ x99 \ xc3 \ xa9tait plus qu \ xe2 \ x80 \ x99un point noir

Dari pada

  Halmalo n'était plus qu'un point noir

Memang, yang terakhir lebih disukai ceteris paribus , tetapi sebaliknya yang pertama sepenuhnya akurat untuk pesan diagnostik. Karena menampilkan Unicode sebagai nilai byte literal, yang pertama juga dapat membantu dalam mendiagnosis masalah penyandian / penyandian sandi.

Catatan: The str()panggilan di atas diperlukan karena jika tidak encode()menyebabkan Python untuk menolak karakter Unicode sebagai tupel nomor.