Tulis ke file UTF-8 dengan Python

Saya sangat bingung dengan codecs.open function. Ketika saya melakukannya:

file = codecs.open("temp", "w", "utf-8")
file.write(codecs.BOM_UTF8)
file.close()

Ini memberi saya kesalahan

UnicodeDecodeError: 'ascii' codec tidak dapat mendekode byte 0xef di posisi 0: ordinal tidak dalam jangkauan (128)

Jika aku melakukan:

file = open("temp", "w")
file.write(codecs.BOM_UTF8)
file.close()

Ini bekerja dengan baik.

Pertanyaannya adalah mengapa metode pertama gagal? Dan bagaimana cara memasukkan bom?

Jika metode kedua adalah cara yang benar untuk melakukannya, apa gunanya menggunakan codecs.open(filename, "w", "utf-8")?

Saya percaya masalahnya adalah bahwa itu codecs.BOM_UTF8adalah string byte, bukan string Unicode. Saya menduga file handler sedang mencoba menebak apa yang sebenarnya Anda maksudkan berdasarkan "Saya seharusnya menulis Unicode sebagai teks yang dikodekan UTF-8, tetapi Anda telah memberi saya string byte!"

Cobalah menulis string Unicode untuk tanda urutan byte (yaitu Unicode U + FEFF) secara langsung, sehingga file tersebut hanya mengkodekannya sebagai UTF-8:

import codecs

file = codecs.open("lol", "w", "utf-8")
file.write(u'\ufeff')
file.close()

(Tampaknya memberi jawaban yang benar - file dengan byte EF BB BF.)

EDIT: Saran S. Lott untuk menggunakan "utf-8-sig" sebagai pengkodean adalah yang lebih baik daripada secara eksplisit menulis BOM sendiri, tetapi saya akan meninggalkan jawaban ini di sini karena menjelaskan apa yang salah sebelumnya.

Baca yang berikut: http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig

Melakukan hal ini

with codecs.open("test_output", "w", "utf-8-sig") as temp:
    temp.write("hi mom\n")
    temp.write(u"This has ♭")

File yang dihasilkan adalah UTF-8 dengan BOM yang diharapkan.

@ S-Lott memberikan prosedur yang tepat, tetapi memperluas masalah Unicode , juru bahasa Python dapat memberikan lebih banyak wawasan.

Jon Skeet benar (tidak biasa) tentang codecsmodul - ini berisi string byte:

>>> import codecs
>>> codecs.BOM
'\xff\xfe'
>>> codecs.BOM_UTF8
'\xef\xbb\xbf'
>>> 

Memilih nit lain, yang BOMmemiliki nama Unicode standar , dan itu dapat dimasukkan sebagai:

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}"
>>> bom
u'\ufeff'

Ini juga dapat diakses melalui unicodedata:

>>> import unicodedata
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE')
u'\ufeff'
>>> 

Saya menggunakan perintah file * nix untuk mengonversi file charset yang tidak dikenal dalam file utf-8

# -*- encoding: utf-8 -*-

# converting a unknown formatting file in utf-8

import codecs
import commands

file_location = "jumper.sub"
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location)

file_stream = codecs.open(file_location, 'r', file_encoding)
file_output = codecs.open(file_location+"b", 'w', 'utf-8')

for l in file_stream:
    file_output.write(l)

file_stream.close()
file_output.close()