Saya ingin mengkompilasi secepat mungkin. Sosok pergi. Dan ingin mengotomatiskan pilihan nomor yang mengikuti -jopsi. Bagaimana saya bisa secara terprogram memilih nilai itu, misalnya dalam skrip shell?
Apakah output nprocsetara dengan jumlah utas yang saya miliki untuk dikompilasi?
make -j1
make -j16
Jawaban:
nprocmemberikan jumlah core / utas CPU yang tersedia, misalnya 8 pada CPU quad-core yang mendukung SMT dua arah.
Jumlah pekerjaan yang dapat Anda jalankan secara paralel dengan makemenggunakan -jopsi tergantung pada sejumlah faktor:
makepekerjaanmakepekerjaan terikat I / O- atau CPUmake -j$(nproc) adalah tempat yang layak untuk memulai, tetapi Anda biasanya dapat menggunakan nilai yang lebih tinggi, selama Anda tidak kehabisan memori yang tersedia dan mulai meronta-ronta.
Untuk pembuatan yang sangat cepat, jika Anda memiliki cukup memori, saya sarankan menggunakan a tmpfs, dengan begitu sebagian besar pekerjaan akan terikat CPU dan make -j$(nproc)akan bekerja secepat mungkin.
tmpfs, apakah saya akan terbatas pada ukuran direktori yang selalu lebih kecil dari ukuran RAM fisik saya?
timepanggilan. Bersihkan hasilnya, busa bilas berulang - dan akhirnya menyortir nilai kali / j.
Sayangnya, bahkan bagian berbeda dari bangunan yang sama mungkin optimal dengan nilai faktor j yang saling bertentangan, tergantung pada apa yang sedang dibangun, bagaimana, sumber daya sistem mana yang menjadi hambatan pada saat itu, apa lagi yang terjadi pada mesin pembuat, apa yang terjadi di jaringan (jika menggunakan teknik build terdistribusi), status / lokasi / kinerja banyak sistem caching yang terlibat dalam build, dll.
Mengkompilasi 100 file C kecil mungkin lebih cepat daripada mengkompilasi satu file besar, atau sebaliknya. Membangun kode berbelit-belit kecil bisa lebih lambat daripada membuat kode lurus / linier dalam jumlah besar.
Bahkan konteks masalah build - menggunakan faktor aj dioptimalkan untuk membangun pada server khusus yang disesuaikan untuk bangunan eksklusif, non-tumpang tindih dapat menghasilkan hasil yang sangat mengecewakan ketika digunakan oleh pengembang membangun secara paralel pada server bersama yang sama (masing-masing pembangunan tersebut mungkin membutuhkan lebih banyak waktu daripada mereka semua digabungkan jika serial) atau di server dengan konfigurasi perangkat keras yang berbeda atau divirtualisasikan.
Ada juga aspek ketepatan spesifikasi bangunan. Bangun yang sangat kompleks mungkin memiliki kondisi balapan yang menyebabkan kegagalan bangun intermiten dengan tingkat kejadian yang dapat sangat bervariasi dengan peningkatan atau penurunan faktor j.
Saya bisa terus dan terus. Intinya adalah bahwa Anda harus benar mengevaluasi Anda membangun di sangat konteks Anda yang ingin faktor j dioptimalkan. Komentar @Jeff Schaller berlaku: lakukan iterate sampai Anda menemukan yang terbaik. Secara pribadi saya akan mulai dari nilai nproc, coba ke atas terlebih dahulu dan ke bawah hanya jika upaya ke atas menunjukkan degradasi langsung.
Mungkin ide yang baik untuk pertama-tama mengukur beberapa bangunan identik dalam konteks yang seharusnya identik hanya untuk mendapatkan gambaran tentang variabilitas pengukuran Anda - jika terlalu tinggi dapat membahayakan seluruh upaya pengoptimalan Anda (variabilitas 20% akan sepenuhnya melampaui peningkatan 10% / membaca degradasi dalam pencarian faktor j).
Terakhir, IMHO lebih baik menggunakan server (adaptif) jika didukung dan tersedia alih-alih faktor j tetap - ini secara konsisten memberikan kinerja pembangunan yang lebih baik di rentang konteks yang lebih luas.
-jparameter? misalmake -j
make -jakan menelurkan sebanyak mungkin pekerjaan yang dimungkinkan ketergantungan seperti bom fork ( superuser.com/questions/927836/… ); build akan merayap paling baik menghabiskan sebagian besar CPU untuk mengelola proses daripada menjalankannya ( superuser.com/questions/934685/… ) dan dalam build yang sangat paralel sistem akan kehabisan memori / swap atau pid # dan build akan gagal .
Cara paling jujur adalah menggunakan nprocseperti:
make -j`nproc`
Perintah nprocakan mengembalikan jumlah core pada mesin Anda. Dengan membungkusnya dalam kutu, nprocperintah akan mengeksekusi lebih dulu, mengembalikan nomor dan nomor itu akan diteruskan make.
Anda mungkin memiliki pengalaman anekdotal di mana melakukan penghitungan inti + 1 menghasilkan waktu kompilasi yang lebih cepat. Ini lebih berkaitan dengan faktor-faktor seperti penundaan I / O, keterlambatan sumber daya lainnya dan ketersediaan kendala sumber daya lainnya.
Untuk melakukannya nproc+1, coba ini:
make -j$((`nproc`+1))
Jika Anda ingin menulis makeperintah untuk menggunakan pekerja paralel sebanyak Anda punya CPU virtual, saya sarankan untuk menggunakan:
nproc | xargs -I % make -j%
Yang dapat ditulis sebagai perintah mandiri atau sebagai RUNperintah di dalam Dockerfile(karena Docker tidak mendukung perintah bersarang)
ccacheuntuk nanti membangun kembali tapi ini PL