MySQL memuat nilai NULL dari data CSV

Saya memiliki file yang dapat berisi 3 hingga 4 kolom nilai numerik yang dipisahkan oleh koma. Bidang kosong didefinisikan dengan pengecualian ketika mereka berada di akhir baris:

1,2,3,4,5
1,2,3,,5
1,2,3

Tabel berikut dibuat di MySQL:

+ ------- + -------- + ------ + ----- + --------- + ------- +
| Bidang | Ketik | Null | Kunci | Default | Ekstra |
+ ------- + -------- + ------ + ----- + --------- + ------- +
| satu | int (1) | YA | | NULL | |
| dua | int (1) | YA | | NULL | |
| tiga | int (1) | YA | | NULL | |
| empat | int (1) | YA | | NULL | |
| lima | int (1) | YA | | NULL | |
+ ------- + -------- + ------ + ----- + --------- + ------- +

Saya mencoba memuat data menggunakan perintah MySQL LOAD:

LOAD DATA INFILE '/tmp/testdata.txt' INTO TABLE moo FIELDS 
TERMINATED BY "," LINES TERMINATED BY "\n";

Tabel yang dihasilkan:

+ ------ + ------ + ------- + ------ + ------ +
| satu | dua | tiga | empat | lima |
+ ------ + ------ + ------- + ------ + ------ +
| 1 | 2 | 3 | 4 | 5 |
| 1 | 2 | 3 | 0 | 5 |
| 1 | 2 | 3 | NULL | NULL |
+ ------ + ------ + ------- + ------ + ------ +

Masalahnya terletak pada kenyataan bahwa ketika suatu bidang kosong dalam data mentah dan tidak didefinisikan, MySQL untuk beberapa alasan tidak menggunakan nilai default kolom (yang NULL) dan menggunakan nol. NULL digunakan dengan benar ketika bidang tersebut hilang sama sekali.

Sayangnya, saya harus dapat membedakan antara NULL dan 0 pada tahap ini sehingga bantuan apa pun akan dihargai.

Terima kasih S.

sunting

Output dari MENUNJUKKAN PERINGATAN:

+ --------- + ------ + -------------------------------- ------------------------ +
| Level | Kode | Pesan |
+ --------- + ------ + -------------------------------- ------------------------ +
| Peringatan | 1366 | Nilai integer salah: '' untuk kolom 'empat' di baris 2 |
| Peringatan | 1261 | Baris 3 tidak berisi data untuk semua kolom |
| Peringatan | 1261 | Baris 3 tidak berisi data untuk semua kolom |
+ --------- + ------ + -------------------------------- ------------------------ +

Ini akan melakukan apa yang Anda inginkan. Itu membaca bidang keempat menjadi variabel lokal, dan kemudian menetapkan nilai bidang aktual ke NULL, jika variabel lokal akhirnya berisi string kosong:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(one, two, three, @vfour, five)
SET four = NULLIF(@vfour,'')
;

Jika semuanya mungkin kosong, maka Anda akan membacanya semuanya menjadi variabel dan memiliki beberapa pernyataan SET, seperti ini:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(@vone, @vtwo, @vthree, @vfour, @vfive)
SET
one = NULLIF(@vone,''),
two = NULLIF(@vtwo,''),
three = NULLIF(@vthree,''),
four = NULLIF(@vfour,'')
;

Manual MySQL mengatakan:

Saat membaca data dengan LOAD DATA INFILE, kolom kosong atau hilang diperbarui dengan ''. Jika Anda menginginkan nilai NULL dalam kolom, Anda harus menggunakan \ N dalam file data. Kata literal "NULL" juga dapat digunakan dalam beberapa keadaan.

Jadi, Anda perlu mengganti yang kosong dengan \ N seperti ini:

1,2,3,4,5
1,2,3,\N,5
1,2,3

Perilaku berbeda tergantung pada konfigurasi database. Dalam mode ketat ini akan menimbulkan kesalahan selain peringatan. Permintaan berikut dapat digunakan untuk mengidentifikasi konfigurasi basis data.

mysql> show variables like 'sql_mode';

Memproses ulang CSV input Anda untuk mengganti entri kosong dengan \ N.

Coba di regex: s / ,, /, \ n, / g dan s /, $ /, \ N / g

Semoga berhasil.

(variable1, @ variable2, ..) SET variable2 = nullif (@ variable2, '' or '') >> Anda dapat meletakkan kondisi apa pun

tampilkan variabel

Show variables like "`secure_file_priv`";

Catatan: simpan file csv Anda di lokasi yang diberikan oleh perintah di atas.

create table assessments (course_code varchar(5),batch_code varchar(7),id_assessment int, assessment_type varchar(10), date int , weight int);

Catatan: di sini kolom ' date' memiliki beberapa nilai kosong di file csv.

LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/assessments.csv' 
INTO TABLE assessments
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '' 
LINES TERMINATED BY '\n' 
IGNORE 1 ROWS 
(course_code,batch_code,id_assessment,assessment_type,@date,weight)
SET date = IF(@date = '', NULL, @date);