Bagaimana cara mengekspor data sebagai format CSV dari SQL Server menggunakan sqlcmd?

Saya dapat dengan mudah membuang data ke file teks seperti:

sqlcmd -S myServer -d myDB -E -Q "select col1, col2, col3 from SomeTable" 
     -o "MyData.txt"

Namun, saya telah melihat file bantuan untuk SQLCMDtetapi belum melihat opsi khusus untuk CSV.

Apakah ada cara untuk membuang data dari tabel ke file teks CSV menggunakan SQLCMD?

Anda dapat menjalankan sesuatu seperti ini:

sqlcmd -S MyServer -d myDB -E -Q "select col1, col2, col3 from SomeTable" 
       -o "MyData.csv" -h-1 -s"," -w 700

• -h-1 menghapus tajuk nama kolom dari hasilnya
  
• -s"," set pemisah kolom menjadi,
  
• -w 700 set lebar baris menjadi 700 karakter (ini harus selebar baris terpanjang atau akan membungkus ke baris berikutnya)

Dengan PowerShell Anda dapat menyelesaikan masalah dengan rapi dengan mem-pipkan Invoke-Sqlcmd ke Export-Csv.

#Requires -Module SqlServer
Invoke-Sqlcmd -Query "SELECT * FROM DimDate;" `
              -Database AdventureWorksDW2012 `
              -Server localhost |
Export-Csv -NoTypeInformation `
           -Path "DimDate.csv" `
           -Encoding UTF8

SQL Server 2016 termasuk modul SqlServer , yang berisi Invoke-Sqlcmdcmdlet, yang akan Anda miliki bahkan jika Anda baru saja menginstal SSMS 2016. Sebelum itu, SQL Server 2012 menyertakan modul SQLPS lama , yang akan mengubah direktori saat ini SQLSERVER:\ketika modul itu pertama kali digunakan (di antara bug lain) jadi untuk itu, Anda harus mengubah #Requiresbaris di atas menjadi:

Push-Location $PWD
Import-Module -Name SQLPS
# dummy query to catch initial surprise directory change
Invoke-Sqlcmd -Query "SELECT 1" `
              -Database  AdventureWorksDW2012 `
              -Server localhost |Out-Null
Pop-Location
# actual Invoke-Sqlcmd |Export-Csv pipeline

Untuk mengadaptasi contoh untuk SQL Server 2008 dan 2008 R2, hapus #Requiresbaris seluruhnya dan gunakan utilitas sqlps.exe alih-alih host PowerShell standar.

Invoke-Sqlcmd adalah PowerShell yang setara dengan sqlcmd.exe. Alih-alih teks itu output objek System.Data.DataRata .

The -Queryparameter bekerja seperti -Qparameter sqlcmd.exe. Berikan SQL query yang menjelaskan data yang ingin Anda ekspor.

The -Databaseparameter bekerja seperti -dparameter sqlcmd.exe. Berikan nama database yang berisi data yang akan diekspor.

The -Serverparameter bekerja seperti -Sparameter sqlcmd.exe. Berikan nama server yang berisi data yang akan diekspor.

Ekspor-CSV adalah cmdlet PowerShell yang membuat serialisasi objek umum ke CSV. Ini dikirimkan dengan PowerShell.

The -NoTypeInformationparameter menekan keluaran tambahan yang bukan merupakan bagian dari format CSV. Secara default cmdlet menulis header dengan informasi jenis. Ini memungkinkan Anda mengetahui jenis objek ketika Anda deserialize nanti dengan Import-Csv, tetapi membingungkan alat yang mengharapkan CSV standar.

The -Pathparameter bekerja seperti -oparameter sqlcmd.exe. Jalur lengkap untuk nilai ini paling aman jika Anda terjebak menggunakan modul SQLPS lama .

The -Encodingparameter bekerja seperti -fatau -uparameter sqlcmd.exe. Secara standar Export-Csv hanya menghasilkan karakter ASCII dan mengganti yang lainnya dengan tanda tanya. Gunakan UTF8 sebagai gantinya untuk mempertahankan semua karakter dan tetap kompatibel dengan sebagian besar alat lainnya.

Keuntungan utama dari solusi ini daripada sqlcmd.exe atau bcp.exe adalah Anda tidak perlu meretas perintah untuk mengeluarkan CSV yang valid. Cmdlet Export-Csv menangani semuanya untuk Anda.

Kerugian utama adalah Invoke-Sqlcmdmembaca seluruh hasil yang ditetapkan sebelum melewati sepanjang pipa. Pastikan Anda memiliki cukup memori untuk seluruh rangkaian hasil yang ingin Anda ekspor.

Ini mungkin tidak berfungsi dengan baik untuk miliaran baris. Jika itu masalah, Anda bisa mencoba alat lain, atau memutar versi efisien Anda sendiri Invoke-Sqlcmdmenggunakan kelas System.Data.SqlClient.SqlDataReader .

sqlcmd -S myServer -d myDB -E -o "MyData.txt" ^
    -Q "select bar from foo" ^
    -W -w 999 -s","

Baris terakhir berisi opsi spesifik CSV.

• -W   menghapus spasi tambahan dari setiap bidang individu
• -s","   set pemisah kolom ke koma (,)
• -w 999   set lebar baris menjadi 999 karakter

Jawaban scottm sangat dekat dengan apa yang saya gunakan, tetapi saya menemukan itu -Wmenjadi tambahan yang sangat bagus: Saya tidak perlu memotong spasi ketika saya mengkonsumsi CSV di tempat lain.

Juga lihat referensi MSDN sqlcmd . Itu membuat /?output opsi menjadi malu.

Apakah ini tidak bcpdimaksudkan untuk?

bcp "select col1, col2, col3 from database.schema.SomeTable" queryout  "c:\MyData.txt"  -c -t"," -r"\n" -S ServerName -T

Jalankan ini dari baris perintah Anda untuk memeriksa sintaks.

bcp /?

Sebagai contoh:

usage: bcp {dbtable | query} {in | out | queryout | format} datafile
  [-m maxerrors]            [-f formatfile]          [-e errfile]
  [-F firstrow]             [-L lastrow]             [-b batchsize]
  [-n native type]          [-c character type]      [-w wide character type]
  [-N keep non-text native] [-V file format version] [-q quoted identifier]
  [-C code page specifier]  [-t field terminator]    [-r row terminator]
  [-i inputfile]            [-o outfile]             [-a packetsize]
  [-S server name]          [-U username]            [-P password]
  [-T trusted connection]   [-v version]             [-R regional enable]
  [-k keep null values]     [-E keep identity values]
  [-h "load hints"]         [-x generate xml format file]
  [-d database name]

Harap perhatikan bahwa bcptidak dapat menampilkan tajuk kolom.

Lihat: halaman bcp Utility docs.

Contoh dari halaman di atas:

bcp.exe MyTable out "D:\data.csv" -T -c -C 65001 -t , ...

Catatan untuk siapa pun yang ingin melakukan ini tetapi juga memiliki tajuk kolom, ini adalah solusi yang saya gunakan file batch:

sqlcmd -S servername -U username -P password -d database -Q "set nocount on; set ansi_warnings off; sql query here;" -o output.tmp -s "," -W
type output.tmp | findstr /V \-\,\- > output.csv
del output.tmp

Ini menampilkan hasil awal (termasuk pemisah ----, ---- antara header dan data) ke dalam file temp, kemudian menghapus baris itu dengan memfilternya melalui findstr. Perhatikan bahwa itu tidak sempurna karena memfilter -,-— itu tidak akan berfungsi jika hanya ada satu kolom di output, dan itu juga akan menyaring garis yang sah yang berisi string itu.

Jawaban ini dibangun berdasarkan solusi dari @ iain-elder, yang berfungsi dengan baik kecuali untuk kasus basis data yang besar (seperti yang ditunjukkan dalam solusinya). Seluruh tabel harus sesuai dengan memori sistem Anda, dan bagi saya ini bukan pilihan. Saya menduga solusi terbaik akan menggunakan System.Data.SqlClient.SqlDataReader dan serializer CSV kustom ( lihat di sini untuk contoh ) atau bahasa lain dengan driver MS SQL dan serialisasi CSV. Dalam semangat pertanyaan asli yang mungkin mencari solusi tanpa ketergantungan, kode PowerShell di bawah ini berfungsi untuk saya. Ini sangat lambat dan tidak efisien terutama dalam instantiating $ data array dan memanggil Export-Csv dalam mode append untuk setiap baris $ chunk_size.

$chunk_size = 10000
$command = New-Object System.Data.SqlClient.SqlCommand
$command.CommandText = "SELECT * FROM <TABLENAME>"
$command.Connection = $connection
$connection.open()
$reader = $command.ExecuteReader()

$read = $TRUE
while($read){
    $counter=0
    $DataTable = New-Object System.Data.DataTable
    $first=$TRUE;
    try {
        while($read = $reader.Read()){

            $count = $reader.FieldCount
            if ($first){
                for($i=0; $i -lt $count; $i++){
                    $col = New-Object System.Data.DataColumn $reader.GetName($i)
                    $DataTable.Columns.Add($col)
                }
                $first=$FALSE;
            }

            # Better way to do this?
            $data=@()
            $emptyObj = New-Object System.Object
            for($i=1; $i -le $count; $i++){
                $data +=  $emptyObj
            }

            $reader.GetValues($data) | out-null
            $DataRow = $DataTable.NewRow()
            $DataRow.ItemArray = $data
            $DataTable.Rows.Add($DataRow)
            $counter += 1
            if ($counter -eq $chunk_size){
                break
            }
        }
        $DataTable | Export-Csv "output.csv" -NoTypeInformation -Append
    }catch{
        $ErrorMessage = $_.Exception.Message
        Write-Output $ErrorMessage
        $read=$FALSE
        $connection.Close()
        exit
    }
}
$connection.close()

Opsi alternatif dengan BCP:

exec master..xp_cmdshell 'BCP "sp_who" QUERYOUT C:\av\sp_who.txt -S MC0XENTC -T -c '

Biasanya sqlcmddilengkapi dengan bcputilitas (sebagai bagian dari mssql-tools) yang mengekspor ke CSV secara default.

Pemakaian:

bcp {dbtable | query} {in | out | queryout | format} datafile

Sebagai contoh:

bcp.exe MyTable out data.csv

Untuk membuang semua tabel ke file CSV yang sesuai, berikut adalah skrip Bash :

#!/usr/bin/env bash
# Script to dump all tables from SQL Server into CSV files via bcp.
# @file: bcp-dump.sh
server="sql.example.com" # Change this.
user="USER" # Change this.
pass="PASS" # Change this.
dbname="DBNAME" # Change this.
creds="-S '$server' -U '$user' -P '$pass' -d '$dbname'"
sqlcmd $creds -Q 'SELECT * FROM sysobjects sobjects' > objects.lst
sqlcmd $creds -Q 'SELECT * FROM information_schema.routines' > routines.lst
sqlcmd $creds -Q 'sp_tables' | tail -n +3 | head -n -2 > sp_tables.lst
sqlcmd $creds -Q 'SELECT name FROM sysobjects sobjects WHERE xtype = "U"' | tail -n +3 | head -n -2 > tables.lst

for table in $(<tables.lst); do
  sqlcmd $creds -Q "exec sp_columns $table" > $table.desc && \
  bcp $table out $table.csv -S $server -U $user -P $pass -d $dbname -c
done

Jawaban di atas hampir menyelesaikannya untuk saya tetapi tidak membuat CSV yang diuraikan dengan benar.

Ini versi saya:

sqlcmd -S myurl.com -d MyAzureDB -E -s, -W -i mytsql.sql | findstr /V /C:"-" /B > parsed_correctly.csv

Seseorang yang mengatakan bahwa sqlcmditu sudah ketinggalan zaman mendukung beberapa alternatif PowerShell lupa bahwa sqlcmditu tidak hanya untuk Windows. Saya di Linux (dan ketika di Windows saya tetap menghindari PS).

Setelah mengatakan semua itu, saya merasa bcplebih mudah.

Karena mengikuti 2 alasan, Anda harus menjalankan solusi saya di CMD:

1. Mungkin ada tanda kutip ganda dalam kueri

2. Nama pengguna dan kata sandi masuk kadang-kadang diperlukan untuk meminta contoh SQL Server jarak jauh

   sqlcmd -U [your_User]  -P[your_password] -S [your_remote_Server] -d [your_databasename]  -i "query.txt" -o "output.csv" -s"," -w 700

Anda bisa melakukannya dengan cara hack. Hati-hati menggunakan sqlcmdperetasan. Jika data memiliki tanda kutip ganda atau koma Anda akan mengalami masalah.

Anda dapat menggunakan skrip sederhana untuk melakukannya dengan benar:

'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
' Data Exporter                                                 '
'                                                               '
' Description: Allows the output of data to CSV file from a SQL '
'       statement to either Oracle, SQL Server, or MySQL        '
' Author: C. Peter Chen, http://dev-notes.com                   '
' Version Tracker:                                              '
'       1.0   20080414 Original version                         '
'   1.1   20080807 Added email functionality                '
'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
option explicit
dim dbType, dbHost, dbName, dbUser, dbPass, outputFile, email, subj, body, smtp, smtpPort, sqlstr

'''''''''''''''''
' Configuration '
'''''''''''''''''
dbType = "oracle"                 ' Valid values: "oracle", "sqlserver", "mysql"
dbHost = "dbhost"                 ' Hostname of the database server
dbName = "dbname"                 ' Name of the database/SID
dbUser = "username"               ' Name of the user
dbPass = "password"               ' Password of the above-named user
outputFile = "c:\output.csv"      ' Path and file name of the output CSV file
email = "email@me.here"           ' Enter email here should you wish to email the CSV file (as attachment); if no email, leave it as empty string ""
  subj = "Email Subject"          ' The subject of your email; required only if you send the CSV over email
  body = "Put a message here!"    ' The body of your email; required only if you send the CSV over email
  smtp = "mail.server.com"        ' Name of your SMTP server; required only if you send the CSV over email
  smtpPort = 25                   ' SMTP port used by your server, usually 25; required only if you send the CSV over email
sqlStr = "select user from dual"  ' SQL statement you wish to execute
'''''''''''''''''''''
' End Configuration '
'''''''''''''''''''''



dim fso, conn

'Create filesystem object 
set fso = CreateObject("Scripting.FileSystemObject")

'Database connection info
set Conn = CreateObject("ADODB.connection")
Conn.ConnectionTimeout = 30
Conn.CommandTimeout = 30
if dbType = "oracle" then
    conn.open("Provider=MSDAORA.1;User ID=" & dbUser & ";Password=" & dbPass & ";Data Source=" & dbName & ";Persist Security Info=False")
elseif dbType = "sqlserver" then
    conn.open("Driver={SQL Server};Server=" & dbHost & ";Database=" & dbName & ";Uid=" & dbUser & ";Pwd=" & dbPass & ";")
elseif dbType = "mysql" then
    conn.open("DRIVER={MySQL ODBC 3.51 Driver}; SERVER=" & dbHost & ";PORT=3306;DATABASE=" & dbName & "; UID=" & dbUser & "; PASSWORD=" & dbPass & "; OPTION=3")
end if

' Subprocedure to generate data.  Two parameters:
'   1. fPath=where to create the file
'   2. sqlstr=the database query
sub MakeDataFile(fPath, sqlstr)
    dim a, showList, intcount
    set a = fso.createtextfile(fPath)

    set showList = conn.execute(sqlstr)
    for intcount = 0 to showList.fields.count -1
        if intcount <> showList.fields.count-1 then
            a.write """" & showList.fields(intcount).name & ""","
        else
            a.write """" & showList.fields(intcount).name & """"
        end if
    next
    a.writeline ""

    do while not showList.eof
        for intcount = 0 to showList.fields.count - 1
            if intcount <> showList.fields.count - 1 then
                a.write """" & showList.fields(intcount).value & ""","
            else
                a.write """" & showList.fields(intcount).value & """"
            end if
        next
        a.writeline ""
        showList.movenext
    loop
    showList.close
    set showList = nothing

    set a = nothing
end sub

' Call the subprocedure
call MakeDataFile(outputFile,sqlstr)

' Close
set fso = nothing
conn.close
set conn = nothing

if email <> "" then
    dim objMessage
    Set objMessage = CreateObject("CDO.Message")
    objMessage.Subject = "Test Email from vbs"
    objMessage.From = email
    objMessage.To = email
    objMessage.TextBody = "Please see attached file."
    objMessage.AddAttachment outputFile

    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/sendusing") = 2
    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserver") = smtp
    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserverport") = smtpPort

objMessage.Configuration.Fields.Update

    objMessage.Send
end if

'You're all done!!  Enjoy the file created.
msgbox("Data Writer Done!")

^{Sumber: Menulis output SQL ke CSV dengan VBScript .}