Bagaimana cara mengimpor file CSV ke tabel MySQL?

Saya memiliki CSV event-diary yang tidak dinormalkan dari klien yang saya coba muat ke dalam tabel MySQL sehingga saya bisa melakukan refactor ke dalam format yang waras. Saya membuat tabel yang disebut 'CSVImport' yang memiliki satu bidang untuk setiap kolom file CSV. CSV berisi 99 kolom, jadi ini tugas yang cukup sulit:

CREATE TABLE 'CSVImport' (id INT);
ALTER TABLE CSVImport ADD COLUMN Title VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN Company VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN NumTickets VARCHAR(256);
...
ALTER TABLE CSVImport Date49 ADD COLUMN Date49 VARCHAR(256);
ALTER TABLE CSVImport Date50 ADD COLUMN Date50 VARCHAR(256);

Tidak ada kendala di atas meja, dan semua bidang memiliki nilai VARCHAR (256), kecuali kolom yang berisi jumlah (diwakili oleh INT), ya / tidak (diwakili oleh BIT), harga (diwakili oleh DECIMAL), dan uraian teks ( diwakili oleh TEXT).

Saya mencoba memuat data ke dalam file:

LOAD DATA INFILE '/home/paul/clientdata.csv' INTO TABLE CSVImport;
Query OK, 2023 rows affected, 65535 warnings (0.08 sec)
Records: 2023  Deleted: 0  Skipped: 0  Warnings: 198256
SELECT * FROM CSVImport;
| NULL             | NULL        | NULL           | NULL | NULL               | 
...

Seluruh meja dipenuhi NULL.

Saya pikir masalahnya adalah bahwa uraian teks berisi lebih dari satu baris, dan MySQL mem-parsing file seolah-olah setiap baris baru akan sesuai dengan satu baris databazse. Saya dapat memuat file ke OpenOffice tanpa masalah.

File clientdata.csv berisi 2593 baris, dan 570 catatan. Baris pertama berisi nama kolom. Saya pikir itu dibatasi koma, dan teks tampaknya dibatasi dengan doublequote.

MEMPERBARUI:

Jika ragu, baca manual: http://dev.mysql.com/doc/refman/5.0/id/load-data.html

Saya menambahkan beberapa informasi ke LOAD DATApernyataan bahwa OpenOffice cukup pintar untuk menyimpulkan, dan sekarang memuat jumlah catatan yang benar:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

Tetapi masih ada banyak NULLcatatan yang lengkap , dan tidak ada data yang dimuat tampaknya berada di tempat yang tepat.

Inti dari masalah Anda tampaknya cocok dengan kolom dalam file CSV dengan yang ada di tabel.

Banyak klien mySQL grafis memiliki dialog impor yang sangat bagus untuk hal semacam ini.

Favorit saya untuk pekerjaan ini adalah HeidiSQL berbasis Windows . Ini memberi Anda antarmuka grafis untuk membangun LOAD DATAperintah; Anda dapat menggunakannya kembali secara terprogram nanti.

Cuplikan layar: Dialog "Import textfile"

Untuk membuka dialog Impor textfile ", buka Tools > Import CSV file:

Gunakan mysqlimport untuk memuat tabel ke dalam database:

mysqlimport --ignore-lines=1 \
            --fields-terminated-by=, \
            --local -u root \
            -p Database \
             TableName.csv

Saya menemukannya di http://chriseiffel.com/everything-linux/how-to-import-a-large-csv-file-to-mysql/

Untuk membuat pembatas tab, gunakan --fields-terminated-by='\t'

Cara paling sederhana yang telah saya impor 200+ baris adalah di bawah perintah di jendela phpmyadmin sql

Saya memiliki tabel sederhana negara dengan dua kolom CountryId, CountryName

di sini adalah data .csv

di sini adalah perintah:

LOAD DATA INFILE 'c:/country.csv' 
INTO TABLE country 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS

Ingat satu hal, jangan pernah muncul, di kolom kedua, jika tidak impor Anda akan berhenti

Saya tahu bahwa pertanyaannya sudah lama , tetapi saya ingin membagikan ini

Saya Menggunakan metode ini untuk mengimpor lebih dari 100K catatan ( ~ 5MB ) dalam 0,046detik

Begini cara melakukannya:

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

Sangat penting untuk memasukkan baris terakhir, jika Anda memiliki lebih dari satu bidang, yaitu biasanya ia melompati bidang terakhir (MySQL 5.6.17)

LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

Kemudian, dengan asumsi Anda memiliki baris pertama sebagai judul untuk bidang Anda, Anda mungkin ingin memasukkan baris ini juga

IGNORE 1 ROWS

Ini terlihat seperti jika file Anda memiliki baris tajuk.

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
(field_1,field_2 , field_3);

phpMyAdmin dapat menangani impor CSV. Berikut langkah-langkahnya:

1. Mempersiapkan file CSV untuk memiliki bidang dalam urutan yang sama dengan bidang tabel MySQL.

2. Hapus baris tajuk dari CSV (jika ada), sehingga hanya data yang ada di file.

3. Buka antarmuka phpMyAdmin.

4. Pilih tabel di menu sebelah kiri.

5. Klik tombol impor di bagian atas.

6. Jelajahi file CSV.

7. Pilih opsi "CSV menggunakan LOAD DATA".

8. Masukkan "," di "bidang yang diakhiri oleh".

9. Masukkan nama kolom dalam urutan yang sama seperti pada tabel database.

10. Klik tombol go dan Anda selesai.

Ini adalah catatan yang saya siapkan untuk digunakan di masa depan, dan dibagikan di sini jika orang lain dapat memperoleh manfaat.

Anda dapat memperbaikinya dengan mencantumkan kolom dalam pernyataan LOAD DATA Anda. Dari manual :

LOAD DATA INFILE 'persondata.txt' INTO TABLE persondata (col1,col2,...);

... jadi dalam kasus Anda, Anda perlu mendaftar 99 kolom dalam urutan yang muncul di file csv.

Coba ini, itu berhasil untuk saya

    LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE table_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' IGNORE 1 ROWS;

IGNORE 1 ROWS di sini mengabaikan baris pertama yang berisi nama field. Perhatikan bahwa untuk nama file Anda harus mengetikkan path absolut dari file tersebut.

Baris perintah mysql rentan terhadap terlalu banyak masalah pada impor. Inilah cara Anda melakukannya:

• gunakan excel untuk mengedit nama header agar tidak memiliki spasi
• simpan sebagai .csv
• gunakan Navicat Lite Sql Browser gratis untuk mengimpor dan membuat tabel baru secara otomatis (beri nama)
• buka tabel baru masukkan kolom nomor otomatis utama untuk ID
• ubah jenis kolom yang diinginkan.
• selesai!

Jika Anda menggunakan MySQL Workbench (saat ini versi 6.3) Anda dapat melakukannya dengan:

1. Klik kanan pada "Tables";
2. Memilih Wisaya Impor Data Tabel;
3. Pilih file csv Anda dan ikuti instruksi (JSON juga dapat digunakan); Hal baiknya adalah Anda bisa membuat tabel baru berdasarkan file csv yang ingin Anda impor atau memuat data ke tabel yang sudah ada

Saya melihat sesuatu yang aneh. Anda menggunakan untuk ESCAPING karakter yang sama yang Anda gunakan untuk ENCLOSING. Jadi mesin tidak tahu apa yang harus dilakukan ketika menemukan '' 'dan saya pikir itu sebabnya tidak ada yang tampak di tempat yang tepat. Saya pikir jika Anda menghapus garis ESCAPING, harus berjalan dengan baik. Seperti:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

Kecuali Anda menganalisis (secara manual, visual, ...) CSV Anda dan temukan karakter mana yang digunakan untuk melarikan diri. Terkadang '\'. Tetapi jika Anda tidak memilikinya, jangan menggunakannya.

Namun solusi lain adalah dengan menggunakan alat csvsql dari suite csvkit yang menakjubkan .

Contoh penggunaan:

csvsql --db mysql://$user:$password@localhost/$database --insert --tables $tablename  $file

Alat ini dapat secara otomatis menyimpulkan tipe data (perilaku default), membuat tabel dan memasukkan data ke dalam tabel yang dibuat. --overwriteOpsi dapat digunakan untuk menjatuhkan tabel jika sudah ada. --insertopsi - untuk mengisi tabel dari file.

Untuk menginstal suite

pip install csvkit

Prasyarat: python-dev , libmysqlclient-dev,MySQL-python

apt-get install python-dev libmysqlclient-dev
pip install MySQL-python

Cara mengimpor file csv ke tabel sql

Contoh file: Overseas_trade_indexFile CSV data

Langkah:

1. Perlu membuat tabel untuk overseas_trade_index.

2. Perlu membuat kolom yang terkait dengan file csv.

   Permintaan SQL:

   ( id int not null primary key auto_increment,
   series_reference varchar (60),
   period varchar (60),
   data_value decimal(60,0),
   status varchar (60),
   units varchar (60),
   magnitude int(60),
   subject text(60),
   group text(60),
   series_title_1 varchar (60),
   series_title_2 varchar (60),
   series_title_3 varchar (60),
   series_title_4 varchar (60),
   series_title_5 varchar (60),
    );

3. Perlu menghubungkan database mysql di terminal.

   =>show databases;
   =>use database;
   =>show tables;

4. Silakan masukkan perintah ini untuk mengimpor data csv ke tabel mysql.

   load data infile '/home/desktop/Documents/overseas.csv' into table trade_index fields terminated by ',' lines terminated by '\n' (series_reference,period,data_value,status,units,magnitude,subject,series_title1,series_title_2,series_title_3,series_title_4,series_title_5);

5. Temukan data indeks perdagangan luar negeri ini di sqldatabase:

   select * from trade_index;

Jika Anda menggunakan mesin windows dengan Excel spreadsheet dimuat, plugin mySql baru ke Excel sangat fenomenal. Orang-orang di Oracle benar-benar melakukan pekerjaan yang baik pada perangkat lunak itu. Anda bisa membuat koneksi database langsung dari Excel. Plugin itu akan menganalisis data Anda, dan mengatur tabel untuk Anda dalam format yang konsisten dengan data. Saya punya beberapa file csv monster data yang besar untuk dikonversi. Alat ini sangat menghemat waktu.

http://dev.mysql.com/downloads/windows/excel/

Anda bisa membuat pembaruan dari dalam Excel yang akan mengisi ke database online. Ini bekerja sangat baik dengan file mySql yang dibuat pada hosting shared GoDaddy yang sangat murah. (Catatan ketika Anda membuat tabel di GoDaddy, Anda harus memilih beberapa pengaturan yang tidak standar untuk mengaktifkan akses situs dari database ...)

Dengan plugin ini Anda memiliki interaktivitas murni antara spreadsheet XL Anda dan penyimpanan data mySql online.

Saya menggunakan meja kerja mysql untuk melakukan pekerjaan yang sama.

1. buat skema baru
2. buka skema yang baru dibuat
3. klik kanan pada "Tables" dan pilih "Table Import Import Wizard"
4. berikan path file csv dan nama tabel dan akhirnya konfigurasikan tipe kolom Anda karena wizard mengatur tipe kolom default berdasarkan nilainya.

Catatan: lihat file log mysql workbench untuk setiap kesalahan dengan menggunakan "tail -f [mysqlworkbenchpath] /log/wb*.log"

Berikut ini contoh cuplikan layar file excel:

Simpan sebagai dan pilih .csv.

Dan Anda akan memiliki seperti yang ditunjukkan di bawah ini tangkapan layar data .csv jika Anda membuka menggunakan notepad ++ atau notepad lainnya.

Pastikan Anda menghapus tajuk dan memiliki perataan kolom di .csv seperti pada Tabel mysql. Ganti folder_name dengan nama folder Anda

LOAD DATA LOKAL
INFILI 'D: /folder_name/myfilename.csv' KE mail TABEL BIDANG YANG DIAKHIRI OLEH ',' (fname, lname, email, telepon);

Jika data besar, Anda dapat mengambil kopi dan memuatnya !.

Itu yang kamu butuhkan.

Seandainya Anda menggunakan Intellij https://www.jetbrains.com/datagrip/features/importexport.html

Permintaan PHP untuk mengimpor file csv ke database mysql

$query = <<<EOF
            LOAD DATA LOCAL INFILE '$file'
             INTO TABLE users
             FIELDS TERMINATED BY ','
             LINES TERMINATED BY '\n'
             IGNORE 1 LINES
            (name,mobile,email)
    EOF;
if (!$result = mysqli_query($this->db, $query))
   {
        exit(mysqli_error($this->db));
   }

** Contoh data file CSV **

name,mobile,email
Christopher Gritton,570-686-3439,ChristopherKGritton@inbound.plus
Brandon Wilson,541-309-5149,BrandonMWilson@inbound.plus
Craig White,516-795-8065,CraigJWhite@inbound.plus
David Whitney,713-214-3966,DavidCWhitney@inbound.plus

Ubah servername, nama pengguna, kata sandi, dbname, path file Anda, nama file dan bidang yang ada dalam database Anda yang ingin Anda masukkan

<?php
    $servername = "localhost";
    $username = "root";
    $password = "";
    $dbname = "bd_dashboard";
    //For create connection
    $conn = new mysqli($servername, $username, $password, $dbname);

    $query = "LOAD DATA LOCAL INFILE 
                'C:/Users/lenovo/Desktop/my_data.csv'
                INTO TABLE test_tab
                FIELDS TERMINATED BY ','
                LINES TERMINATED BY '\n'
                IGNORE 1 LINES
                (name,mob)";
    if (!$result = mysqli_query($conn, $query)){
        echo '<script>alert("Oops... Some Error occured.");</script>';
        exit();
            //exit(mysqli_error());
       }else{
        echo '<script>alert("Data Inserted Successfully.");</script>'
       }
    ?>