3
memperbaiki penggunaan paralel xargs
Saya menggunakan xargsuntuk memanggil skrip python untuk memproses sekitar 30 juta file kecil. Saya berharap dapat digunakan xargsuntuk memparalelkan proses. Perintah yang saya gunakan adalah: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt Pada dasarnya, Convert.pyakan membaca dalam file json kecil (4kb), …