Saya memiliki FILE_A yang memiliki lebih dari 300.000 baris dan FILE_B yang memiliki lebih dari 30 juta baris. Saya membuat skrip Bash yang membuat setiap baris dalam FILE_A berakhir di FILE_B dan menulis hasil grep ke file baru.
Seluruh proses ini memakan waktu lebih dari 5 jam.
Bagaimana saya dapat meningkatkan kinerja skrip saya?
Saya menggunakan grep -F -m 1
sebagai perintah grep. FILE_A terlihat seperti ini:
123456789
123455321
dan FILE_B seperti ini:
123456789,123456789,730025400149993,
123455321,123455321,730025400126097,
Jadi dengan Bash saya memiliki while
loop yang mengambil baris berikutnya di FILE_A dan melihatnya di FILE_B. Ketika pola ditemukan di FILE_B, saya menulisnya ke file result.txt.
while read -r line; do
grep -F -m1 $line 30MFile
done < 300KFile