Saya memiliki sekitar 15.000 file yang diberi nama file_1.pdb, file_2.pdb, dll saya bisa kucing sekitar beberapa ribu dari ini dalam rangka dengan melakukan:

cat file_{1..2000}.pdb >> file_all.pdb

Namun, jika saya melakukan ini untuk 15.000 file, saya mendapatkan kesalahan

-bash: /bin/cat: Argument list too long

Saya telah melihat masalah ini diselesaikan dengan melakukan find . -name xx -exec xxtetapi ini tidak akan mempertahankan urutan yang menggabungkan file. Bagaimana saya bisa mencapai ini?

Menggunakan find, sortdan xargs:

find . -maxdepth 1 -type f -name 'file_*.pdb' -print0 |
sort -zV |
xargs -0 cat >all.pdb

The findperintah menemukan semua file yang relevan, kemudian mencetak nama path mereka keluar untuk sortyang melakukan "versi semacam" untuk mendapatkan mereka dalam urutan yang benar (jika nomor di nama file telah nol-diisi dengan lebar tetap kita tidak akan diperlukan -V). xargsmengambil daftar nama jalur yang diurutkan ini dan menjalankannya catdalam jumlah yang sebanyak mungkin.

Ini akan berfungsi bahkan jika nama file berisi karakter aneh seperti baris baru dan spasi. Kami menggunakan -print0dengan finduntuk memberikan sortnama yang diakhiri nul untuk mengurutkan, dan sortmenangani ini menggunakan -z. xargsjuga membaca nama yang diakhiri dengan -0bendera.

Perhatikan bahwa saya sedang menulis hasilnya ke file yang namanya tidak cocok dengan pola file_*.pdb.

Solusi di atas menggunakan beberapa flag non-standar untuk beberapa utilitas. Ini didukung oleh implementasi GNU dari utilitas ini dan setidaknya oleh OpenBSD dan implementasi macOS.

Bendera non-standar yang digunakan adalah

• -maxdepth 1, untuk membuat findhanya memasuki direktori paling atas tetapi tidak ada subdirektori. POSIXly, gunakanfind . ! -name . -prune ...
• -print0, untuk membuat findkeluaran nama jalur yang diakhiri nul (ini dianggap oleh POSIX tetapi ditolak). Orang bisa menggunakan -exec printf '%s\0' {} +sebagai gantinya.
• -z, untuk membuat sortcatatan nul-terminated. Tidak ada kesetaraan POSIX.
• -V, untuk membuat sortsemacam mis 200setelah 3. Tidak ada kesetaraan POSIX, tetapi bisa diganti dengan semacam angka pada bagian-bagian tertentu dari nama file jika nama file memiliki awalan tetap.
• -0, untuk membuat xargscatatan yang diakhiri nul. Tidak ada kesetaraan POSIX. POSIXly, orang perlu mengutip nama file dalam format yang dikenali oleh xargs.

Jika nama path berperilaku baik, dan jika struktur direktori datar (tanpa subdirektori), maka seseorang dapat melakukannya tanpa flag-flag ini, kecuali -Vdengan sort.

Dengan zsh( dari mana {1..15000}operator itu berasal):

autoload zargs # best in ~/.zshrc
zargs file_{1..15000}.pdb -- cat > file_all.pdb

Atau untuk semua file_<digits>.pdbfile dalam urutan numerik:

zargs file_<->.pdb(n) -- cat > file_all.pdb

(di mana <x-y>adalah operator glob yang pertandingan pada angka desimal x ke y. Dengan tidak ada xatau y, itu nomor desimal. Setara dengan extendedglob's [0-9]##atau kshglob' s +([0-9])(satu atau lebih digit)).

Dengan ksh93, menggunakan catperintah bawaannya (jadi tidak terpengaruh oleh batas execve()pemanggilan sistem karena tidak ada eksekusi ):

command /opt/ast/bin/cat file_{1..15000}.pdb > file_all.pdb

Dengan bash/ zsh/ ksh93(yang support zsh's {x..y}dan memiliki printfbuiltin):

printf '%s\n' file_{1..15000}.pdb | xargs cat > file_all.pdb

Pada sistem GNU atau yang kompatibel, Anda juga dapat menggunakan seq:

seq -f 'file_%.17g.pdb' 15000 | xargs cat > file_all.pdb

Untuk xargssolusi berbasis, perawatan khusus harus diambil untuk nama file yang berisi tanda kutip kosong, tunggal atau ganda atau garis miring terbalik.

Seperti untuk -It's a trickier filename - 12.pdb, gunakan:

seq -f "\"./-It's a trickier filename - %.17g.pdb\"" 15000 |
  xargs cat > file_all.pdb

A for loop dimungkinkan, dan sangat sederhana.

for i in file_{1..15000}.pdb; do cat $i >> file_all.pdb; done

Kelemahannya adalah Anda sering melakukan cathal yang sama. Tetapi jika Anda tidak dapat mengingat dengan tepat bagaimana melakukan hal-hal dengan finddan biaya overhead doa tidak terlalu buruk dalam situasi Anda, maka ada baiknya diingat.

seq 1 15000 | awk '{print "file_"$0".dat"}' | xargs cat > file_all.pdb

Premis

Anda seharusnya tidak melakukan kesalahan itu hanya untuk file 15k dengan format nama spesifik ^{[ 1 , 2 ]} .

Jika Anda menjalankan ekspansi itu dari direktori lain dan Anda harus menambahkan path ke setiap file, ukuran perintah Anda akan lebih besar, dan tentu saja itu bisa terjadi.

Solusi menjalankan perintah dari direktori itu.

(cd That/Directory ; cat file_{1..2000}.pdb >> file_all.pdb )

Solusi Terbaik Jika sebaliknya saya menduga buruk dan Anda menjalankannya dari direktori di mana file-file tersebut ...
IMHO solusi terbaik adalah yang Stéphane Chazelas ' :

seq -f 'file_%.17g.pdb' 15000 | xargs cat > file_all.pdb

dengan printf atau seq; diuji pada file 15k dengan hanya nomor mereka di dalam pra-cache itu bahkan yang lebih cepat (saat ini dan kecuali OP satu dari direktori yang sama di mana file tersebut).

Beberapa kata lagi

Anda harus bisa melewati baris perintah shell Anda lebih lama.
Baris perintah Anda adalah 213914 karakter dan berisi 15003 kata
cat file_{1..15000}.pdb " > file_all.pdb" | wc

... bahkan menambahkan 8 byte untuk setiap kata adalah 333 938 byte (0,3M) jauh di bawah 2097142 (2,1M) yang dilaporkan oleh ARG_MAXkernel 3.13.0 atau 2088232 yang sedikit lebih kecil dilaporkan sebagai "Panjang perintah maksimum yang sebenarnya bisa kita dapat gunakan " olehxargs --show-limits

Coba lihat pada sistem Anda untuk output dari

getconf ARG_MAX
xargs --show-limits

Solusi yang dipandu kemalasan

Dalam kasus seperti ini saya lebih suka bekerja dengan balok bahkan karena biasanya keluar solusi waktu yang efisien.
Logikanya (jika ada) adalah saya terlalu malas untuk menulis 1 ... 1000 1001..2000 dll ...
Jadi saya meminta script untuk melakukannya untuk saya.
Hanya setelah saya memeriksa hasilnya sudah benar saya mengarahkan ulang ke skrip.

... tapi Kemalasan adalah kondisi pikiran .
Karena saya alergi xargs(saya benar-benar seharusnya menggunakannya di xargssini) dan saya tidak ingin memeriksa cara menggunakannya, saya segera selesai untuk menemukan kembali roda seperti pada contoh di bawah ini (tl; dr).

Perhatikan bahwa karena nama file dikontrol (tanpa spasi, baris baru ...) Anda dapat dengan mudah menggunakan sesuatu seperti skrip di bawah ini.

tl; dr

Versi 1: lulus sebagai parameter opsional nomor file 1, yang terakhir, ukuran blok, file output

#!/bin/bash
StartN=${1:-1}          # First file number
EndN=${2:-15000}        # Last file number
BlockN=${3:-100}        # files in a Block 
OutFile=${4:-"all.pdb"} # Output file name

CurrentStart=$StartN 
for i in $(seq $StartN $BlockN $EndN)
do 
  CurrentEnd=$i ;  
    cat $(seq -f file_%.17g.pdb $CurrentStart $CurrentEnd)  >> $OutFile;
  CurrentStart=$(( CurrentEnd + 1 )) 
done
# Here you may need to do a last iteration for the part cut from seq
[[ $EndN -ge $CurrentStart ]] && 
    cat $(seq -f file_%.17g.pdb $CurrentStart $EndN)  >> $OutFile;

Versi 2

Memanggil bash untuk ekspansi (sedikit lebih lambat dalam pengujian saya ~ 20%).

#!/bin/bash
StartN=${1:-1}          # First file number
EndN=${2:-15000}        # Last file number
BlockN=${3:-100}        # files in a Block 
OutFile=${4:-"all.pdb"} # Output file name

CurrentStart=$StartN 
for i in $(seq $StartN $BlockN $EndN)
do 
  CurrentEnd=$i ;
    echo  cat file_{$CurrentStart..$CurrentEnd}.pdb | /bin/bash  >> $OutFile;
  CurrentStart=$(( CurrentEnd + 1 )) 
done
# Here you may need to do a last iteration for the part cut from seq
[[ $EndN -ge $CurrentStart ]] && 
    echo  cat file_{$CurrentStart..$EndN}.pdb | /bin/bash  >> $OutFile;

Tentu saja Anda dapat maju dan menyingkirkan seq ^{[ 3 ]} (dari coreutils) dan bekerja secara langsung dengan variabel dalam bash, atau menggunakan python, atau kompilasi program ac untuk melakukannya ^{[ 4 ]} ...

Cara lain untuk melakukannya bisa jadi

(cat file_{1..499}.pdb; cat file_{500..999}.pdb; cat file_{1000..1499}.pdb; cat file_{1500..2000}.pdb) >> file_all.pdb