Apa ide di balik ^ = 32, yang mengubah huruf kecil menjadi huruf besar dan sebaliknya?

Saya sedang memecahkan beberapa masalah pada codeforces. Biasanya saya pertama kali memeriksa apakah karakternya huruf Inggris atas atau bawah kemudian kurangi atau tambahkan 32untuk mengubahnya menjadi huruf yang sesuai. Tetapi saya menemukan seseorang melakukan ^= 32hal yang sama. Ini dia:

char foo = 'a';
foo ^= 32;
char bar = 'A';
bar ^= 32;
cout << foo << ' ' << bar << '\n'; // foo is A, and bar is a

Saya telah mencari penjelasan untuk ini dan tidak mengetahuinya. Jadi mengapa ini berhasil?

Mari kita lihat tabel kode ASCII dalam biner.

A 1000001    a 1100001
B 1000010    b 1100010
C 1000011    c 1100011
...
Z 1011010    z 1111010

Dan 32 adalah 0100000satu-satunya perbedaan antara huruf kecil dan huruf besar. Jadi, beralih sedikit itu mengubah huruf.

Ini menggunakan fakta daripada nilai-nilai ASCII telah dipilih oleh orang-orang yang benar-benar pintar.

foo ^= 32;

Ini membalik-6 bit terendah ¹ dari foo(bendera huruf besar dari ASCII semacam), mengubah sebuah huruf ASCII untuk kasus yang lebih rendah dan sebaliknya .

+---+------------+------------+
|   | Upper case | Lower case |  32 is 00100000
+---+------------+------------+
| A | 01000001   | 01100001   |
| B | 01000010   | 01100010   |
|            ...              |
| Z | 01011010   | 01111010   |
+---+------------+------------+

Contoh

'A' ^ 32

    01000001 'A'
XOR 00100000 32
------------
    01100001 'a'

Dan dengan properti XOR 'a' ^ 32 == 'A',.

Memperhatikan

C ++ tidak diperlukan untuk menggunakan ASCII untuk mewakili karakter. Varian lain adalah EBCDIC . Trik ini hanya berfungsi pada platform ASCII. Solusi yang lebih portabel adalah menggunakan std::tolowerdan std::toupper, dengan bonus yang ditawarkan menjadi sadar-lokal (itu tidak secara otomatis menyelesaikan semua masalah Anda, lihat komentar):

bool case_incensitive_equal(char lhs, char rhs)
{
    return std::tolower(lhs, std::locale{}) == std::tolower(rhs, std::locale{}); // std::locale{} optional, enable locale-awarness
}

assert(case_incensitive_equal('A', 'a'));

¹⁾ Sebagaimana 32 adalah 1 << 5(2 pangkat 5), ia membalik bit ke-6 (dihitung dari 1).

Izinkan saya untuk mengatakan bahwa ini - walaupun tampaknya cerdas - peretasan yang benar-benar bodoh. Jika seseorang merekomendasikan ini kepada Anda pada tahun 2019, pukul dia. Pukul dia sekeras yang Anda bisa.
Anda dapat, tentu saja, melakukannya dalam perangkat lunak Anda sendiri yang Anda dan orang lain gunakan jika Anda tahu bahwa Anda tidak akan pernah menggunakan bahasa apa pun selain bahasa Inggris. Kalau tidak, jangan pergi.

Peretasan itu bisa dibilang "OK" sekitar 30-35 tahun yang lalu ketika komputer tidak benar-benar melakukan banyak hal selain bahasa Inggris di ASCII, dan mungkin satu atau dua bahasa utama Eropa. Tapi ... tidak lagi begitu.

Peretasan ini bekerja karena huruf AS-Latin bagian atas dan bawah persis 0x20terpisah satu sama lain dan muncul dalam urutan yang sama, yang hanya memiliki sedikit perbedaan. Yang mana, pada kenyataannya, ini sedikit hack, matikan.

Sekarang, orang-orang yang membuat halaman kode untuk Eropa Barat, dan kemudian konsorsium Unicode, cukup pintar untuk menjaga skema ini misalnya Umlaut Jerman dan Vokal beraksen Prancis. Tidak demikian untuk ß yang (sampai seseorang meyakinkan konsorsium Unicode pada 2017, dan sebuah majalah cetak Fake News yang besar menulis tentang hal itu, benar-benar meyakinkan Duden - tidak ada komentar tentang itu) bahkan tidak ada sebagai versal (berubah menjadi SS) . Sekarang memang ada sebagai versal, tetapi keduanya adalah 0x1DBFposisi yang terpisah, bukan 0x20.

Namun, implementornya tidak cukup perhatian untuk mempertahankan hal ini. Misalnya, jika Anda menerapkan retas dalam beberapa bahasa Eropa Timur atau sejenisnya (saya tidak akan tahu tentang Cyrillic), Anda akan mendapatkan kejutan yang tidak menyenangkan. Semua karakter "hatchet" adalah contoh dari itu, huruf kecil dan huruf besar adalah satu terpisah. Peretasan tidak bekerja dengan baik di sana.

Ada banyak lagi yang perlu dipertimbangkan, misalnya, beberapa karakter tidak hanya berubah dari huruf kecil ke huruf besar sama sekali (mereka diganti dengan urutan yang berbeda), atau mereka dapat mengubah bentuk (memerlukan titik kode yang berbeda).

Jangan pernah berpikir tentang apa yang akan dilakukan peretasan ini untuk hal-hal seperti Thailand atau Cina (itu hanya akan memberi Anda omong kosong).

Menyimpan beberapa ratus siklus CPU mungkin sangat bermanfaat 30 tahun yang lalu, tetapi saat ini, sebenarnya tidak ada alasan untuk mengkonversi string dengan benar. Ada fungsi perpustakaan untuk melakukan tugas non-sepele ini.
Waktu yang dibutuhkan untuk mengonversi beberapa lusin kilobyte teks dengan benar dapat diabaikan saat ini.

Ini bekerja karena, seperti yang terjadi, perbedaan antara 'a' dan A 'dalam pengkodean ASCII adalah 32, dan 32 juga nilai bit keenam. Membalik bit ke-6 dengan OR eksklusif sehingga mengubah antara atas dan bawah.

Kemungkinan besar implementasi set karakter Anda adalah ASCII. Jika kita melihat tabel:

Kita melihat bahwa ada perbedaan 32antara nilai huruf kecil dan huruf besar. Oleh karena itu, jika kita lakukan ^= 32(yang sama dengan mengganti bit paling signifikan ke-6), itu berubah antara karakter huruf kecil dan huruf besar.

Perhatikan bahwa ini bekerja dengan semua simbol, bukan hanya huruf. Ini beralih karakter dengan karakter masing-masing di mana bit ke-6 berbeda, menghasilkan sepasang karakter yang beralih bolak-balik antara. Untuk huruf, masing-masing karakter huruf besar / kecil membentuk pasangan seperti itu. A NULakan berubah menjadi Spacedan sebaliknya, dan @beralih dengan backtick. Pada dasarnya setiap karakter di kolom pertama pada bagan ini beralih dengan karakter satu kolom di atas, dan hal yang sama berlaku untuk kolom ketiga dan keempat.

Saya tidak akan menggunakan retasan ini, karena tidak ada jaminan bahwa ini akan bekerja pada sistem apa pun. Cukup gunakan toupper dan tolower saja, dan permintaan seperti isupper .

Banyak jawaban bagus di sini yang menjelaskan cara kerjanya, tetapi mengapa cara ini bekerja adalah untuk meningkatkan kinerja. Pengoperasian bitwise lebih cepat daripada kebanyakan operasi lain dalam suatu prosesor. Anda dapat dengan cepat melakukan perbandingan case yang tidak sensitif dengan tidak melihat bit yang menentukan case atau mengubah case ke atas / bawah hanya dengan membalik bit (orang-orang yang mendesain tabel ASCII cukup pintar).

Jelas, ini bukan masalah besar hari ini seperti pada tahun 1960 (ketika pekerjaan pertama kali dimulai pada ASCII) karena prosesor yang lebih cepat dan Unicode, tetapi masih ada beberapa prosesor berbiaya rendah yang dapat membuat perbedaan yang signifikan selama Anda hanya bisa menjamin karakter ASCII.

https://en.wikipedia.org/wiki/Bitwise_operation

Pada prosesor berbiaya rendah yang sederhana, biasanya, operasi bitwise jauh lebih cepat daripada pembagian, beberapa kali lebih cepat dari multiplikasi, dan kadang-kadang secara signifikan lebih cepat daripada penambahan.

CATATAN: Saya akan merekomendasikan menggunakan perpustakaan standar untuk bekerja dengan string karena sejumlah alasan (keterbacaan, kebenaran, portabilitas, dll). Hanya gunakan sedikit membalik jika Anda telah mengukur kinerja dan ini adalah hambatan Anda.

Begitulah cara kerja ASCII, itu saja.

Tetapi dalam mengeksploitasi ini, Anda memberikan portabilitas karena C ++ tidak menuntut ASCII sebagai encoding.

Inilah sebabnya mengapa fungsi std::toupperdan std::tolowerdiimplementasikan dalam pustaka standar C ++ - Anda harus menggunakannya.

Lihat tabel kedua di http://www.catb.org/esr/faqs/things-every-hacker-once-knew/#_ascii , dan catatan berikut, direproduksi di bawah:

Pengubah Kontrol pada keyboard Anda pada dasarnya membersihkan tiga bit teratas dari karakter apa pun yang Anda ketikkan, meninggalkan lima terbawah dan memetakannya ke kisaran 0..31. Jadi, misalnya, Ctrl-SPACE, Ctrl- @, dan Ctrl-`semuanya memiliki arti yang sama: NUL.

Keyboard yang sangat lama digunakan untuk melakukan Shift hanya dengan mengaktifkan 32 atau 16 bit, tergantung pada tombolnya; Inilah sebabnya mengapa hubungan antara huruf kecil dan huruf kapital dalam ASCII sangat teratur, dan hubungan antara angka dan simbol, dan beberapa pasang simbol, adalah hal yang biasa jika Anda menyipit. ASR-33, yang merupakan terminal huruf besar semua, bahkan memungkinkan Anda menghasilkan beberapa karakter tanda baca yang tidak memiliki kunci untuknya dengan menggeser 16 bit; dengan demikian, misalnya, Shift-K (0x4B) menjadi [(0x5B)

ASCII dirancang sedemikian rupa sehingga tombol keyboard shiftdan ctrldapat diimplementasikan tanpa banyak (atau mungkin ada ctrl) logika - shiftmungkin diperlukan hanya beberapa gerbang. Mungkin masuk akal setidaknya untuk menyimpan protokol kawat seperti pengkodean karakter lainnya (tidak diperlukan konversi perangkat lunak).

Artikel yang ditautkan juga menjelaskan banyak konvensi peretas aneh seperti And control H does a single character and is an old^H^H^H^H^H classic joke.( ditemukan di sini ).

Xoring dengan 32 (00100000 dalam biner) menetapkan atau mengatur ulang bit keenam (dari kanan). Ini sangat setara dengan menambah atau mengurangi 32.

Rentang alfabet huruf kecil dan huruf besar tidak melewati batas %32"alignment" dalam sistem pengkodean ASCII.

Inilah sebabnya mengapa bit 0x20adalah satu-satunya perbedaan antara versi huruf besar / kecil dari huruf yang sama.

Jika ini bukan masalahnya, Anda harus menambah atau mengurangi 0x20, bukan hanya beralih, dan untuk beberapa huruf akan ada tugas untuk membalik bit lain yang lebih tinggi. (Dan tidak akan ada satu operasi yang bisa beralih, dan memeriksa karakter alfabet di tempat pertama akan lebih sulit karena Anda tidak bisa | = 0x20 untuk memaksa lcase.)

Trik khusus ASCII terkait: Anda dapat memeriksa karakter ASCII alfabet dengan memaksa huruf kecil dengan c |= 0x20dan kemudian memeriksa apakah (tidak ditandatangani) c - 'a' <= ('z'-'a'). Jadi hanya 3 operasi: ATAU + SUB + CMP terhadap konstan 25. Tentu saja, kompiler tahu bagaimana mengoptimalkan (c>='a' && c<='z') ke asm seperti ini untuk Anda , jadi paling-paling Anda harus melakukan c|=0x20bagian sendiri. Agak merepotkan untuk melakukan sendiri semua pengecoran yang diperlukan, terutama untuk mengerjakan promosi bilangan bulat default yang akan ditandatangani int.

unsigned char lcase = y|0x20;
if (lcase - 'a' <= (unsigned)('z'-'a')) {   // lcase-'a' will wrap for characters below 'a'
    // c is alphabetic ASCII
}
// else it's not

Lihat juga Konversi String Dalam C ++ Ke Huruf Besar (string SIMD toupperhanya untuk ASCII, menutupi operand untuk XOR menggunakan centang itu.)

Dan juga Cara mengakses array char dan mengubah huruf kecil ke huruf besar, dan sebaliknya (C dengan SIMD intrinsik, dan skalar x86 asm case-flip untuk karakter ASCII alfabet, membuat yang lain tidak dimodifikasi.)

Trik-trik ini sebagian besar hanya berguna jika tangan mengoptimalkan beberapa pemrosesan teks dengan SIMD (misalnya SSE2 atau NEON), setelah memeriksa bahwa tidak ada chardalam vektor memiliki bit set tinggi. (Dan dengan demikian tidak ada byte yang merupakan bagian dari multi-byte UTF-8 encoding untuk satu karakter, yang mungkin memiliki invers huruf besar / kecil yang berbeda). Jika Anda menemukannya, Anda dapat kembali ke skalar untuk potongan 16 byte ini, atau untuk sisa string.

Bahkan ada beberapa lokal tempat toupper()atau tolower()pada beberapa karakter dalam rentang ASCII menghasilkan karakter di luar rentang itu, terutama Turki di mana saya ↔ ı dan İ ↔ i. Di lokasi tersebut, Anda memerlukan pemeriksaan yang lebih canggih, atau mungkin tidak mencoba menggunakan pengoptimalan ini sama sekali.

Tetapi dalam beberapa kasus, Anda diizinkan untuk menggunakan ASCII alih-alih UTF-8, mis. Utilitas Unix with LANG=C(the POSIX locale), bukan en_CA.UTF-8atau apa pun.

Tetapi jika Anda bisa memastikan keamanannya, Anda dapat membuat toupperstring berukuran sedang jauh lebih cepat daripada menelepon toupper()dalam satu lingkaran (seperti 5x), dan terakhir saya uji dengan Boost 1.58 , jauh lebih cepat daripada boost::to_upper_copy<char*, std::string>()yang dilakukan bodoh dynamic_castuntuk setiap karakter.