Kesalahan "nilai string salah" MySQL saat menyimpan string unicode di Django

Saya mendapat pesan kesalahan aneh ketika mencoba menyimpan first_name, last_name ke model auth_user Django.

Contoh gagal

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkevičius'
user.save()
>>> Incorrect string value: '\xC4\x8Dius' for column 'last_name' at row 104

user.first_name = u'Валерий'
user.last_name = u'Богданов'
user.save()
>>> Incorrect string value: '\xD0\x92\xD0\xB0\xD0\xBB...' for column 'first_name' at row 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukiełojć'
user.save()
>>> Incorrect string value: '\xC5\x82oj\xC4\x87' for column 'last_name' at row 104

Contoh sukses

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> SUCCEED

Pengaturan MySQL

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

Tabel charset dan collation

Tabel auth_user memiliki charset utf-8 dengan collation utf8_general_ci.

Hasil dari perintah UPDATE

Itu tidak menimbulkan kesalahan ketika memperbarui nilai-nilai di atas ke tabel auth_user dengan menggunakan perintah UPDATE.

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 row in set (0.00 sec)

PostgreSQL

Nilai-nilai gagal yang tercantum di atas dapat diperbarui ke tabel PostgreSQL ketika saya mengganti database backend di Django. Ini aneh.

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

Tetapi dari http://www.postgresql.org/docs/8.1/interactive/multibyte.html , saya menemukan yang berikut:

Name Bytes/Char
UTF8 1-4

Apakah ini berarti unicode char memiliki maksimal 4 byte di PostgreSQL tetapi 3 byte di MySQL yang menyebabkan kesalahan di atas?

Tak satu pun dari jawaban ini memecahkan masalah bagi saya. Penyebab utamanya adalah:

Anda tidak dapat menyimpan karakter 4-byte di MySQL dengan set karakter utf-8.

MySQL memiliki batas 3 byte pada utf-8 karakter (ya, itu aneh, disimpulkan dengan baik oleh pengembang Django di sini )

Untuk mengatasi ini, Anda perlu:

1. Ubah database, tabel, dan kolom MySQL Anda untuk menggunakan set karakter utf8mb4 (hanya tersedia dari MySQL 5.5 dan seterusnya)
2. Tentukan rangkaian karakter dalam file pengaturan Django Anda seperti di bawah ini:

settings.py

DATABASES = {
    'default': {
        'ENGINE':'django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

Catatan: Saat membuat ulang basis data Anda, Anda mungkin mengalami masalah ' Kunci spesifik terlalu panjang '.

Penyebab paling mungkin adalah CharFieldyang memiliki max_length 255 dan beberapa jenis indeks di atasnya (misalnya unik). Karena utf8mb4 menggunakan 33% lebih banyak ruang daripada utf-8 Anda harus membuat bidang ini 33% lebih kecil.

Dalam hal ini, ubah max_length dari 255 menjadi 191.

Atau Anda dapat mengedit konfigurasi MySQL Anda untuk menghapus pembatasan ini tetapi tidak tanpa beberapa hackery Django

UPDATE: Saya baru saja mengalami masalah ini lagi dan akhirnya beralih ke PostgreSQL karena saya tidak dapat mengurangi saya VARCHARmenjadi 191 karakter.

Saya memiliki masalah yang sama dan mengatasinya dengan mengubah set karakter kolom. Meskipun database Anda memiliki set karakter default, utf-8saya pikir itu mungkin untuk kolom database memiliki set karakter yang berbeda di MySQL. Inilah SQL QUERY yang saya gunakan:

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;

Jika Anda memiliki masalah ini, inilah skrip python untuk mengubah semua kolom basis data mysql Anda secara otomatis.

#! /usr/bin/env python
import MySQLdb

host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()

Jika ini adalah proyek baru, saya hanya akan membuang database, dan membuat yang baru dengan charset yang tepat:

CREATE DATABASE <dbname> CHARACTER SET utf8;

Saya baru saja menemukan satu metode untuk menghindari kesalahan di atas.

Simpan ke basis data

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

Apakah ini satu-satunya metode untuk menyimpan string seperti itu ke dalam tabel MySQL dan mendekodekannya sebelum dirender ke templat untuk ditampilkan?

Anda dapat mengubah susunan bidang teks Anda menjadi UTF8_general_ci dan masalah akan terpecahkan.

Perhatikan, ini tidak dapat dilakukan di Django.

Anda tidak mencoba menyimpan string unicode, Anda mencoba menyimpan bytestrings dalam pengkodean UTF-8. Jadikan mereka literal string unicode yang sebenarnya:

user.last_name = u'Slatkevičius'

atau (ketika Anda tidak memiliki string literal) mendekode mereka menggunakan pengkodean utf-8:

user.last_name = lastname.decode('utf-8')

Cukup ubah meja Anda, tidak perlu apa-apa. jalankan saja query ini pada basis data. ALTER TABLE table_nameCONVERT KE SET KARAKTER utf8

itu pasti akan berhasil.

Peningkatan jawaban @madprops - solusi sebagai perintah manajemen Django:

import MySQLdb
from django.conf import settings

from django.core.management.base import BaseCommand


class Command(BaseCommand):

    def handle(self, *args, **options):
        host = settings.DATABASES['default']['HOST']
        password = settings.DATABASES['default']['PASSWORD']
        user = settings.DATABASES['default']['USER']
        dbname = settings.DATABASES['default']['NAME']

        db = MySQLdb.connect(host=host, user=user, passwd=password, db=dbname)
        cursor = db.cursor()

        cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

        sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
        cursor.execute(sql)

        results = cursor.fetchall()
        for row in results:
            print(f'Changing table "{row[0]}"...')
            sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
            cursor.execute(sql)
        db.close()

Semoga ini bisa membantu siapa pun kecuali saya :)