Bagaimana cara memeriksa apakah string dengan Python ada di ASCII?

Saya ingin memeriksa apakah string ada di ASCII atau tidak.

Saya sadar ord(), namun ketika saya mencoba ord('é'), saya punya TypeError: ord() expected a character, but string of length 2 found. Saya mengerti ini disebabkan oleh cara saya membangun Python (seperti yang dijelaskan dalam ord()dokumentasi ).

Apakah ada cara lain untuk memeriksanya?

def is_ascii(s):
    return all(ord(c) < 128 for c in s)

Saya pikir Anda tidak menanyakan pertanyaan yang tepat--

Sebuah string dalam python tidak memiliki properti yang sesuai dengan 'ascii', utf-8, atau penyandian lainnya. Sumber string Anda (apakah Anda membacanya dari file, input dari keyboard, dll.) Mungkin telah menyandikan string unicode di ascii untuk menghasilkan string Anda, tetapi di situlah Anda harus mencari jawaban.

Mungkin pertanyaan yang dapat Anda tanyakan adalah: "Apakah string ini hasil dari pengkodean string unicode di ascii?" - Ini bisa Anda jawab dengan mencoba:

try:
    mystring.decode('ascii')
except UnicodeDecodeError:
    print "it was not a ascii-encoded unicode string"
else:
    print "It may have been an ascii-encoded unicode string"

Python 3 cara:

isascii = lambda s: len(s) == len(s.encode())

Untuk memeriksa, lewati string uji:

str1 = "♥O◘♦♥O◘♦"
str2 = "Python"

print(isascii(str1)) -> will return False
print(isascii(str2)) -> will return True

Baru dalam Python 3.7 ( bpo32677 )

Tidak ada lagi ascii yang melelahkan / tidak efisien pada string, built-in str/ bytes/ bytearraymetode baru - .isascii()akan memeriksa apakah string ascii.

print("is this ascii?".isascii())
# True

Menabrak sesuatu seperti ini baru-baru ini - untuk referensi di masa mendatang

import chardet

encoding = chardet.detect(string)
if encoding['encoding'] == 'ascii':
    print 'string is in ascii'

yang dapat Anda gunakan dengan:

string_ascii = string.decode(encoding['encoding']).encode('ascii')

Vincent Marchetti memiliki ide yang tepat, tetapi str.decodetelah ditinggalkan dalam Python 3. Dalam Python 3 Anda dapat melakukan tes yang sama dengan str.encode:

try:
    mystring.encode('ascii')
except UnicodeEncodeError:
    pass  # string is not ascii
else:
    pass  # string is ascii

Perhatikan pengecualian yang ingin Anda tangkap juga telah berubah dari UnicodeDecodeErrormenjadi UnicodeEncodeError.

Pertanyaan Anda salah; kesalahan yang Anda lihat bukan hasil dari bagaimana Anda membangun python, tetapi dari kebingungan antara string byte dan string unicode.

String byte (misalnya "foo", atau 'bar', dalam sintaks python) adalah urutan oktet; angka dari 0-255. String Unicode (mis. U "foo" atau u'bar ') adalah urutan titik kode unicode; angka dari 0-1112064. Tetapi Anda tampaknya tertarik pada karakter é, yang (di terminal Anda) adalah urutan multi-byte yang mewakili satu karakter.

Alih-alih ord(u'é'), coba ini:

>>> [ord(x) for x in u'é']

Itu memberitahu Anda urutan titik kode mana yang mewakili "é". Mungkin memberi Anda [233], atau mungkin memberi Anda [101, 770].

Alih-alih chr()membalikkan ini, ada unichr():

>>> unichr(233)
u'\xe9'

Karakter ini sebenarnya dapat direpresentasikan sebagai satu atau beberapa "kode titik" unicode, yang dengan sendirinya mewakili grapheme atau karakter. Entah "e dengan aksen akut (yaitu, titik kode 233)", atau "e" (titik kode 101), diikuti oleh "aksen akut pada karakter sebelumnya" (titik kode 770). Jadi karakter yang sama persis ini dapat disajikan sebagai struktur data Python u'e\u0301'atauu'\u00e9' .

Sebagian besar waktu Anda tidak perlu peduli tentang ini, tetapi itu bisa menjadi masalah jika Anda mengulangi string unicode, karena iterasi bekerja dengan titik kode, bukan oleh karakter yang dapat diurai. Dengan kata lain, len(u'e\u0301') == 2dan len(u'\u00e9') == 1. Jika ini penting bagi Anda, Anda dapat mengonversi antara formulir yang dikomposisi dan diuraikan dengan menggunakan unicodedata.normalize.

Unicode Glosarium dapat menjadi panduan bermanfaat untuk memahami beberapa masalah ini, dengan menunjukkan bagaimana masing-masing istilah spesifik merujuk pada bagian yang berbeda dari representasi teks, yang jauh lebih rumit daripada yang disadari oleh banyak programmer.

Bagaimana kalau melakukan ini?

import string

def isAscii(s):
    for c in s:
        if c not in string.ascii_letters:
            return False
    return True

Saya menemukan pertanyaan ini ketika mencoba menentukan bagaimana menggunakan / meng-encode / mendekodekan suatu string yang pengkodeannya tidak saya yakini (dan bagaimana cara melarikan diri / mengonversi karakter khusus dalam string itu).

Langkah pertama saya seharusnya memeriksa jenis string - saya tidak menyadari di sana saya bisa mendapatkan data yang baik tentang pemformatannya dari tipe (s). Jawaban ini sangat membantu dan sampai ke akar masalah saya yang sebenarnya.

Jika Anda bersikap kasar dan gigih

UnicodeDecodeError: 'ascii' codec tidak dapat mendekodekan byte 0xc3 di posisi 263: ordinal tidak dalam jangkauan (128)

terutama ketika Anda MENYESUAIKAN, pastikan Anda tidak mencoba untuk unicode () string yang sudah IS unicode- untuk beberapa alasan yang mengerikan, Anda mendapatkan kesalahan codec ascii. (Lihat juga resep Python Kitchen , dan Python docs tutorial untuk pemahaman yang lebih baik tentang betapa buruknya hal ini.)

Akhirnya saya memutuskan bahwa yang ingin saya lakukan adalah ini:

escaped_string = unicode(original_string.encode('ascii','xmlcharrefreplace'))

Juga membantu dalam debugging adalah menetapkan pengkodean default di file saya ke utf-8 (letakkan ini di awal file python Anda):

# -*- coding: utf-8 -*-

Itu memungkinkan Anda untuk menguji karakter khusus ('àéç') tanpa harus menggunakan kode unicode escapes (u '\ xe0 \ xe9 \ xe7').

>>> specials='àéç'
>>> specials.decode('latin-1').encode('ascii','xmlcharrefreplace')
'àéç'

Untuk meningkatkan solusi Alexander dari Python 2.6 (dan dalam Python 3.x) Anda dapat menggunakan modul helper.ascii dan gunakan fungsi curses.ascii.isascii () atau berbagai fungsi lainnya: https://docs.python.org/2.6/ library / curses.ascii.html

from curses import ascii

def isascii(s):
    return all(ascii.isascii(c) for c in s)

Anda bisa menggunakan pustaka ekspresi reguler yang menerima definisi standar Posix [[: ASCII:]].

Sengatan ( str-type) dalam Python adalah serangkaian byte. Tidak ada cara untuk mengatakan hanya dari melihat string apakah rangkaian byte ini mewakili string ascii, string dalam charset 8-bit seperti ISO-8859-1 atau string yang dikodekan dengan UTF-8 atau UTF-16 atau apa pun. .

Namun, jika Anda tahu penyandian yang digunakan, maka Anda dapat decodememasukkan str ke string unicode dan kemudian menggunakan ekspresi reguler (atau loop) untuk memeriksa apakah itu berisi karakter di luar rentang yang Anda khawatirkan.

Seperti jawaban @ RogerDahl tetapi lebih efisien untuk hubungan pendek dengan meniadakan kelas karakter dan menggunakan pencarian daripada find_allatau match.

>>> import re
>>> re.search('[^\x00-\x7F]', 'Did you catch that \x00?') is not None
False
>>> re.search('[^\x00-\x7F]', 'Did you catch that \xFF?') is not None
True

Saya membayangkan ungkapan reguler dioptimalkan dengan baik untuk ini.

import re

def is_ascii(s):
    return bool(re.match(r'[\x00-\x7F]+$', s))

Untuk memasukkan string kosong sebagai ASCII, ubah +ke *.

Untuk mencegah kode Anda mogok, Anda mungkin ingin menggunakan try-exceptuntuk menangkapTypeErrors

>>> ord("¶")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: ord() expected a character, but string of length 2 found

Sebagai contoh

def is_ascii(s):
    try:
        return all(ord(c) < 128 for c in s)
    except TypeError:
        return False

Saya menggunakan berikut ini untuk menentukan apakah string ascii atau unicode:

>> print 'test string'.__class__.__name__
str
>>> print u'test string'.__class__.__name__
unicode
>>> 

Kemudian gunakan saja blok kondisional untuk mendefinisikan fungsi:

def is_ascii(input):
    if input.__class__.__name__ == "str":
        return True
    return False