Hapus koma di antara tanda kutip hanya dalam file yang dibatasi koma

Saya memiliki file input yang dibatasi dengan koma ( ,). Ada beberapa bidang terlampir dalam tanda kutip ganda yang memiliki koma di dalamnya. Berikut adalah contoh baris

123,"ABC, DEV 23",345,534.202,NAME

Saya perlu menghapus semua koma yang terjadi di dalam tanda kutip ganda dan tanda kutip ganda juga. Jadi baris di atas harus diurai menjadi seperti yang ditunjukkan di bawah ini

123,ABC DEV 23,345,534.202,NAME

Saya mencoba yang berikut ini sedtetapi tidak memberikan hasil yang diharapkan.

sed -e 's/\(".*\),\(".*\)/\1 \2/g'

Adakah trik cepat dengan sed, awkatau utilitas unix lainnya?

Jika kuotasi seimbang, Anda ingin menghapus koma di antara setiap kuotasi lainnya, ini dapat dinyatakan dalam awkseperti ini:

awk -F'"' -v OFS='' '{ for (i=2; i<=NF; i+=2) gsub(",", "", $i) } 1' infile

Keluaran:

123,ABC DEV 23,345,534.202,NAME

Penjelasan

Tanda -F"awk memisahkan garis pada tanda kutip ganda, yang berarti setiap bidang lainnya akan menjadi teks antar kutip. Menjalankan for-loop gsub, kependekan dari pengganti global, pada setiap bidang lainnya, menggantikan koma ( ",") dengan tidak ada ( ""). The 1pada akhir memanggil default kode-blok: { print $0 }.

Ada respons yang baik , menggunakan sed hanya satu kali dengan satu loop :

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME'|
  sed ':a;s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 /;ta'
123,"ABC  DEV 23",345,534,"some more  comma-separated  words",202,NAME

Penjelasan:

• :a; adalah label untuk cabang furter
• s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 / dapat berisi 3 bagian tertutup
  • pertama ke-2: [^"]*,\?\|"[^",]*",\?cocok dengan string yang tidak mengandung kuotasi ganda, mungkin diikuti oleh koma atau string yang dilingkupi oleh dua kuotasi ganda, tanpa koma dan mungkin diikuti oleh koma.
  • daripada bagian RE pertama disusun oleh banyak pengulangan dari bagian 2 yang dijelaskan sebelumnya, diikuti oleh 1 penawaran ganda dan beberapa karakter, tetapi tidak ada penawaran ganda, atau koma.
  • Bagian RE pertama diikuti oleh koma.
  • Nota, sisa baris tidak perlu disentuh
• taakan diulang :ajika s/perintah sebelumnya melakukan beberapa perubahan.

Solusi umum yang juga dapat menangani beberapa koma di antara kuotasi seimbang membutuhkan substitusi bersarang. Saya menerapkan solusi dalam perl, yang memproses setiap baris dari input yang diberikan dan hanya koma pengganti di setiap pasangan kutipan lainnya:

perl -pe 's/ "  (.+?  [^\\])  "               # find all non escaped 
                                              # quoting pairs
                                              # in a non-greedy way

           / ($ret = $1) =~ (s#,##g);         # remove all commas within quotes
             $ret                             # substitute the substitution :)
           /gex'

atau singkatnya

perl -pe 's/"(.+?[^\\])"/($ret = $1) =~ (s#,##g); $ret/ge'

Anda bisa mem-pipe teks yang ingin Anda proses ke perintah atau menentukan file teks untuk diproses sebagai argumen baris perintah terakhir.

Saya akan menggunakan bahasa dengan parser CSV yang tepat. Sebagai contoh:

ruby -r csv -ne '
  CSV.parse($_) do |row|
    newrow = CSV::Row.new [], []
    row.each {|field| newrow << field.delete(",")}
    puts newrow.to_csv
  end
' < input_file

Kutipan kedua Anda salah tempat:

sed -e 's/\(".*\),\(.*"\)/\1 \2/g'

Selain itu, menggunakan ekspresi reguler cenderung cocok dengan bagian teks terpanjang yang mungkin, artinya ini tidak akan berfungsi jika Anda memiliki lebih dari satu bidang yang dikutip dalam string.

Cara yang menangani beberapa bidang dikutip dalam sed

sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

Namun, ini juga merupakan cara untuk menyelesaikannya, dengan input yang mungkin mengandung lebih dari satu koma per bidang yang dikutip, ekspresi pertama dalam sed harus diulangi sebanyak yang koma maksimum dalam satu bidang, atau sampai tidak mengubah output sama sekali.

Menjalankan sed dengan lebih dari satu ekspresi harus lebih efisien daripada beberapa proses sed berjalan dan "tr" semua berjalan dengan pipa terbuka.

Namun, ini mungkin memiliki konsekuensi yang tidak diinginkan jika input tidak diformat dengan benar. yaitu kutipan bersarang, kutipan tidak ditentukan.

Menggunakan contoh yang berjalan:

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME' \
| sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' \
-e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

Keluaran:

123,ABC  DEV 23,345,534,some more  comma-separated  words,202,NAME

Dalam perl - Anda dapat menggunakannya Text::CSVuntuk menguraikan ini, dan melakukannya dengan sepele:

#!/usr/bin/env perl
use strict;
use warnings;

use Text::CSV; 

my $csv = Text::CSV -> new();

while ( my $row = $csv -> getline ( \*STDIN ) ) {
    #remove commas in each field in the row
    $_ =~ s/,//g for @$row;
    #print it - use print and join, rather than csv output because quotes. 
    print join ( ",", @$row ),"\n";
}

Anda dapat mencetak dengan Text::CSVtetapi cenderung mempertahankan tanda kutip jika Anda melakukannya. (Meskipun, saya sarankan - daripada mencabut tanda kutip untuk output Anda, Anda bisa mem-parsing menggunakan Text::CSVdi tempat pertama).

Saya membuat fungsi untuk loop melalui setiap karakter dalam string.
Jika karakter adalah kutipan maka tanda centang (b_in_qt) ditandai benar.
Meskipun b_in_qt benar, semua koma diganti dengan spasi.
b_in_qt disetel ke false ketika koma berikutnya ditemukan.

FUNCTION f_replace_c (str_in  VARCHAR2) RETURN VARCHAR2 IS
str_out     varchar2(1000)  := null;
str_chr     varchar2(1)     := null;
b_in_qt     boolean         := false;

BEGIN
    FOR x IN 1..length(str_in) LOOP
      str_chr := substr(str_in,x,1);
      IF str_chr = '"' THEN
        if b_in_qt then
            b_in_qt := false;
        else
            b_in_qt := true;
        end if;
      END IF;
      IF b_in_qt THEN
        if str_chr = ',' then
            str_chr := ' ';
        end if;
      END IF;
    str_out := str_out || str_chr;
    END LOOP;
RETURN str_out;
END;

str_in := f_replace_c ("blue","cat,dog,horse","",yellow,"green")

RESULTS
  "blue","cat dog horse","",yellow,"green"