Metode cepat memisahkan string dari textfile?

Saya memiliki dua file teks: string.txt dan lengths.txt

String.txt:

abcdefghijklmnopqrstuvwxyz

lengths.txt

5
4
10
7

Saya ingin mendapatkan file

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Saya bekerja dengan sekitar 28.000 entri dan mereka bervariasi antara 200 dan 56.000 karakter.

Saat ini, saya menggunakan:

start=1
end=0
i=0
while read read_l
do
    let i=i+1
    let end=end+read_l
    echo -e ">Entry_$i" >>outfile.txt
    echo "$(cut -c$start-$end String.txt)" >>outfile.txt
    let start=start+read_l
    echo $i
done <lengths.txt

Tetapi ini sangat tidak efisien. Ada ide yang lebih baik?

Anda dapat melakukan

{
  while read l<&3; do
    {
      head -c"$l"
      echo
    } 3<&-
  done 3<lengths.txt
} <String.txt

Dibutuhkan beberapa penjelasan:

Gagasan utamanya adalah menggunakan { head ; } <filedan diturunkan dari jawaban @mikeserv yang diremehkan . Namun dalam hal ini kita perlu menggunakan banyak heads, sehingga whileloop diperkenalkan dan sedikit penyesuaian dengan deskriptor file untuk meneruskan ke headinput dari kedua file (file String.txtsebagai file utama untuk diproses dan baris dari length.txtsebagai argumen ke -copsi) . Idenya adalah bahwa manfaat dalam kecepatan harus datang dari tidak perlu mencari melalui String.txtsetiap kali perintah suka headatau cutdipanggil. The echohanya untuk mencetak baris baru setelah setiap iterasi.

Betapa lebih cepat (jika ada) dan menambahkan di >Entry_iantara baris dibiarkan sebagai latihan.

Secara umum, Anda tidak ingin menggunakan shell loop untuk memproses teks . Di sini, saya akan menggunakan perl:

$ perl -lpe 'read STDIN,$_,$_; print ">Entry_" . ++$n' lengths.txt < string.txt
>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Itu satu perintah, yang berbunyi (dengan buffering jadi jauh lebih efisien daripada perintah shell readyang membaca satu byte (atau beberapa byte untuk file biasa) sekaligus) kedua file hanya sekali (tanpa menyimpannya dalam memori penuh), begitu juga akan ada beberapa urutan besarnya lebih efisien daripada solusi yang menjalankan perintah eksternal dalam satu loop shell.

(tambahkan -Copsi jika angka-angka itu haruslah jumlah karakter di lokal saat ini sebagai lawan dari jumlah byte. Untuk karakter ASCII seperti dalam sampel Anda, itu tidak akan membuat perbedaan).

bash, versi 4

mapfile -t lengths <lengths.txt
string=$(< String.txt)
i=0 
n=0
for len in "${lengths[@]}"; do
    echo ">Entry_$((++n))"
    echo "${string:i:len}"
    ((i+=len))
done

keluaran

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Bagaimana dengan awk?

Buat file yang disebut process.awkdengan kode ini:

function idx(i1, v1, i2, v2)
{
     # numerical index comparison, ascending order
     return (i1 - i2)
}
FNR==NR { a[FNR]=$0; next }
{ i=1;PROCINFO["sorted_in"] = "idx";
        for (j in a) {
                print ">Entry"j;
                ms=substr($0, i,a[j])
                print ms
                i=i+length(ms)
        }
}

Simpan dan jalankan awk -f process.awk lengths.txt string.txt