Ganti karakter non-ASCII dengan satu spasi

Saya perlu mengganti semua karakter non-ASCII (\ x00- \ x7F) dengan spasi. Saya terkejut bahwa ini tidak mudah mati di Python, kecuali saya kehilangan sesuatu. Fungsi berikut hanya menghapus semua karakter non-ASCII:

def remove_non_ascii_1(text):

    return ''.join(i for i in text if ord(i)<128)

Dan yang ini menggantikan karakter non-ASCII dengan jumlah spasi sesuai jumlah byte pada titik kode karakter (yaitu –karakter diganti dengan 3 spasi):

def remove_non_ascii_2(text):

    return re.sub(r'[^\x00-\x7F]',' ', text)

Bagaimana saya bisa mengganti semua karakter non-ASCII dengan satu spasi?

Dari yang segudang dari sejenis SO pertanyaan , tidak ada alamat karakter pengganti sebagai lawan untuk pengupasan , dan juga mengatasi semua karakter non-ascii bukan karakter tertentu.

''.join()Ekspresi Anda memfilter , menghapus apa pun yang bukan ASCII; Anda bisa menggunakan ekspresi kondisional sebagai gantinya:

return ''.join([i if ord(i) < 128 else ' ' for i in text])

Ini menangani karakter satu per satu dan masih akan menggunakan satu ruang per karakter yang diganti.

Ekspresi reguler Anda seharusnya hanya mengganti karakter non-ASCII berturut - turut dengan spasi:

re.sub(r'[^\x00-\x7F]+',' ', text)

Perhatikan di +sana.

Untuk Anda yang mendapatkan representasi paling mirip dari string asli Anda, saya sarankan modul unidecode :

from unidecode import unidecode
def remove_non_ascii(text):
    return unidecode(unicode(text, encoding = "utf-8"))

Kemudian Anda bisa menggunakannya dalam sebuah string:

remove_non_ascii("Ceñía")
Cenia

Untuk pemrosesan karakter , gunakan string Unicode:

PythonWin 3.3.0 (v3.3.0:bd8afb90ebf2, Sep 29 2012, 10:57:17) [MSC v.1600 64 bit (AMD64)] on win32.
>>> s='ABC马克def'
>>> import re
>>> re.sub(r'[^\x00-\x7f]',r' ',s)   # Each char is a Unicode codepoint.
'ABC  def'
>>> b = s.encode('utf8')
>>> re.sub(rb'[^\x00-\x7f]',rb' ',b) # Each char is a 3-byte UTF-8 sequence.
b'ABC      def'

Tetapi perhatikan Anda masih akan memiliki masalah jika string Anda berisi karakter Unicode terurai (karakter yang terpisah dan menggabungkan tanda aksen, misalnya):

>>> s = 'mañana'
>>> len(s)
6
>>> import unicodedata as ud
>>> n=ud.normalize('NFD',s)
>>> n
'mañana'
>>> len(n)
7
>>> re.sub(r'[^\x00-\x7f]',r' ',s) # single codepoint
'ma ana'
>>> re.sub(r'[^\x00-\x7f]',r' ',n) # only combining mark replaced
'man ana'

Jika karakter pengganti bisa '?' alih-alih spasi, maka saya sarankan result = text.encode('ascii', 'replace').decode():

"""Test the performance of different non-ASCII replacement methods."""


import re
from timeit import timeit


# 10_000 is typical in the project that I'm working on and most of the text
# is going to be non-ASCII.
text = 'Æ' * 10_000


print(timeit(
    """
result = ''.join([c if ord(c) < 128 else '?' for c in text])
    """,
    number=1000,
    globals=globals(),
))

print(timeit(
    """
result = text.encode('ascii', 'replace').decode()
    """,
    number=1000,
    globals=globals(),
))

Hasil:

0.7208260721400134
0.009975979187503592

Bagaimana dengan yang ini?

def replace_trash(unicode_string):
     for i in range(0, len(unicode_string)):
         try:
             unicode_string[i].encode("ascii")
         except:
              #means it's non-ASCII
              unicode_string=unicode_string[i].replace(" ") #replacing it with a single space
     return unicode_string

Sebagai pendekatan asli dan efisien, Anda tidak perlu menggunakan ordatau mengulang karakter apa pun. Cukup enkode denganascii dan mengabaikan kesalahan.

Berikut ini hanya akan menghapus karakter non-ascii:

new_string = old_string.encode('ascii',errors='ignore')

Sekarang jika Anda ingin mengganti karakter yang dihapus lakukan saja hal berikut:

final_string = new_string + b' ' * (len(old_string) - len(new_string))

Berpotensi untuk pertanyaan yang berbeda, tapi saya memberikan versi saya dari jawaban @ Alvero (menggunakan unidecode). Saya ingin melakukan strip "biasa" pada string saya, yaitu awal dan akhir string saya untuk karakter spasi, dan kemudian ganti hanya karakter spasi putih lainnya dengan ruang "biasa", yaitu

"Ceñíaㅤmañanaㅤㅤㅤㅤ"

untuk

"Ceñía mañana"

,

def safely_stripped(s: str):
    return ' '.join(
        stripped for stripped in
        (bit.strip() for bit in
         ''.join((c if unidecode(c) else ' ') for c in s).strip().split())
        if stripped)

Kami pertama-tama mengganti semua ruang non-unicode dengan ruang reguler (dan bergabung kembali lagi),

''.join((c if unidecode(c) else ' ') for c in s)

Dan kemudian kita membaginya lagi, dengan split normal python, dan strip masing-masing "bit",

(bit.strip() for bit in s.split())

Dan terakhir bergabung kembali dengan mereka lagi, tetapi hanya jika string melewati iftes,

' '.join(stripped for stripped in s if stripped)

Dan dengan itu, safely_stripped('ㅤㅤㅤㅤCeñíaㅤmañanaㅤㅤㅤㅤ')kembali dengan benar 'Ceñía mañana'.