Untuk memperluas jawaban yang diberikan orang lain:
Kami memiliki banyak bahasa dengan banyak karakter yang sebaiknya ditampilkan oleh komputer. Unicode memberikan setiap karakter nomor unik, atau titik kode.
Komputer berurusan dengan angka-angka seperti byte ... melewatkan sedikit sejarah di sini dan mengabaikan masalah pengalamatan memori, komputer 8-bit akan memperlakukan byte 8-bit sebagai unit numerik terbesar yang dengan mudah diwakili pada perangkat keras, komputer 16-bit akan berkembang itu untuk dua byte, dan sebagainya.
Pengkodean karakter lama seperti ASCII berasal dari era (pra) 8-bit, dan mencoba menjejalkan bahasa dominan dalam komputasi pada saat itu, yaitu bahasa Inggris, ke dalam angka mulai dari 0 hingga 127 (7 bit). Dengan 26 huruf dalam alfabet, baik dalam bentuk kapital dan non-kapital, angka dan tanda baca, yang bekerja dengan cukup baik. ASCII diperluas oleh bit ke-8 untuk bahasa lain, bukan bahasa Inggris, tetapi 128 angka / poin kode tambahan yang disediakan oleh ekspansi ini akan dipetakan ke karakter yang berbeda tergantung pada bahasa yang ditampilkan. Standar ISO-8859 adalah bentuk paling umum dari pemetaan ini; ISO-8859-1 dan ISO-8859-15 (juga dikenal sebagai ISO-Latin-1, latin1, dan ya ada dua versi berbeda dari standar ISO 8859 juga).
Tapi itu tidak cukup ketika Anda ingin mewakili karakter dari lebih dari satu bahasa, jadi menjejalkan semua karakter yang tersedia ke dalam satu byte tidak akan berfungsi.
Pada dasarnya ada dua jenis pengkodean: satu memperluas rentang nilai dengan menambahkan lebih banyak bit. Contoh pengkodean ini adalah UCS2 (2 byte = 16 bit) dan UCS4 (4 byte = 32 bit). Mereka secara inheren menderita masalah yang sama dengan standar ASCII dan ISO-8859, karena kisaran nilainya masih terbatas, bahkan jika batasnya jauh lebih tinggi.
Jenis pengkodean lainnya menggunakan jumlah variabel byte per karakter, dan pengkodean yang paling umum dikenal untuk ini adalah pengkodean UTF. Semua pengkodean UTF bekerja dengan cara yang kurang lebih sama: Anda memilih ukuran satuan, yang untuk UTF-8 adalah 8 bit, untuk UTF-16 adalah 16 bit, dan untuk UTF-32 adalah 32 bit. Standar kemudian mendefinisikan beberapa bit ini sebagai flag: jika mereka ditetapkan, maka unit berikutnya dalam urutan unit harus dianggap bagian dari karakter yang sama. Jika tidak disetel, unit ini sepenuhnya mewakili satu karakter. Dengan demikian karakter (bahasa Inggris) yang paling umum hanya menempati satu byte di UTF-8 (dua di UTF-16, 4 di UTF-32), tetapi karakter bahasa lainnya dapat menempati enam byte atau lebih.
Pengkodean multi-byte (saya harus mengatakan multi-unit setelah penjelasan di atas) memiliki keuntungan bahwa mereka relatif hemat-ruang, tetapi kelemahan yang operasi seperti menemukan substring, perbandingan, dll. Semua harus mendekode karakter ke kode unicode poin sebelum operasi tersebut dapat dilakukan (ada beberapa cara pintas, meskipun).
Baik standar UCS dan standar UTF menyandikan poin kode seperti yang didefinisikan dalam Unicode. Secara teori, pengkodean tersebut dapat digunakan untuk menyandikan angka apa pun (dalam kisaran yang didukung pengkodean) - tetapi tentu saja pengkodean ini dibuat untuk menyandikan titik kode Unicode. Dan itulah hubungan Anda di antara mereka.
Windows menangani apa yang disebut string "Unicode" sebagai string UTF-16, sementara sebagian besar UNIX default ke UTF-8 hari ini. Protokol komunikasi seperti HTTP cenderung berfungsi paling baik dengan UTF-8, karena ukuran unit di UTF-8 sama dengan ASCII, dan sebagian besar protokol tersebut dirancang pada era ASCII. Di sisi lain, UTF-16 memberikan kinerja ruang / pemrosesan rata-rata terbaik saat mewakili semua bahasa yang hidup.
Standar Unicode mendefinisikan lebih sedikit poin kode daripada yang dapat direpresentasikan dalam 32 bit. Jadi untuk semua tujuan praktis, UTF-32 dan UCS4 menjadi penyandian yang sama, karena Anda tidak mungkin harus berurusan dengan karakter multi-unit di UTF-32.
Harapan yang mengisi beberapa detail.
