Mengapa multiprosesing hanya menggunakan satu inti setelah saya mengimpor numpy?

Saya tidak yakin apakah ini dianggap lebih sebagai masalah OS, tapi saya pikir saya akan bertanya di sini kalau-kalau ada yang memiliki wawasan dari akhir Python.

Saya telah mencoba untuk memparalelkan penggunaan CPU-heavy forloop joblib, tetapi saya menemukan bahwa alih-alih setiap proses pekerja ditugaskan ke inti yang berbeda, saya berakhir dengan semuanya ditugaskan ke inti yang sama dan tidak ada peningkatan kinerja.

Inilah contoh yang sangat sepele ...

from joblib import Parallel,delayed
import numpy as np

def testfunc(data):
    # some very boneheaded CPU work
    for nn in xrange(1000):
        for ii in data[0,:]:
            for jj in data[1,:]:
                ii*jj

def run(niter=10):
    data = (np.random.randn(2,100) for ii in xrange(niter))
    pool = Parallel(n_jobs=-1,verbose=1,pre_dispatch='all')
    results = pool(delayed(testfunc)(dd) for dd in data)

if __name__ == '__main__':
    run()

... dan inilah yang saya lihat htopsaat skrip ini berjalan:

Saya menjalankan Ubuntu 12.10 (3.5.0-26) pada laptop dengan 4 core. Jelas joblib.Parallelsedang memunculkan proses terpisah untuk pekerja yang berbeda, tetapi apakah ada cara saya bisa membuat proses ini dijalankan pada core yang berbeda?

Setelah googling lagi saya menemukan jawabannya di sini .

Ternyata modul Python tertentu ( numpy, scipy, tables, pandas, skimage...) berantakan dengan afinitas inti pada impor. Sejauh yang saya tahu, masalah ini tampaknya secara khusus disebabkan oleh mereka yang terhubung dengan pustaka OpenBLAS multithreaded.

Solusinya adalah mereset afinitas tugas menggunakan

os.system("taskset -p 0xff %d" % os.getpid())

Dengan baris ini disisipkan setelah impor modul, contoh saya sekarang berjalan pada semua core:

Pengalaman saya sejauh ini adalah bahwa ini tampaknya tidak memiliki efek negatif pada numpykinerja, meskipun ini mungkin khusus untuk mesin dan tugas.

Memperbarui:

Ada juga dua cara untuk menonaktifkan perilaku reset-afinitas CPU dari OpenBLAS itu sendiri. Saat run-time Anda dapat menggunakan variabel lingkungan OPENBLAS_MAIN_FREE(atau GOTOBLAS_MAIN_FREE), misalnya

OPENBLAS_MAIN_FREE=1 python myscript.py

Atau sebagai alternatif, jika Anda mengkompilasi OpenBLAS dari sumber, Anda dapat menonaktifkannya secara permanen saat membangun dengan mengedit Makefile.ruleagar mengandung baris

NO_AFFINITY=1

Python 3 sekarang memaparkan metode untuk secara langsung mengatur afinitas

>>> import os
>>> os.sched_getaffinity(0)
{0, 1, 2, 3}
>>> os.sched_setaffinity(0, {1, 3})
>>> os.sched_getaffinity(0)
{1, 3}
>>> x = {i for i in range(10)}
>>> x
{0, 1, 2, 3, 4, 5, 6, 7, 8, 9}
>>> os.sched_setaffinity(0, x)
>>> os.sched_getaffinity(0)
{0, 1, 2, 3}

Ini tampaknya menjadi masalah umum dengan Python di Ubuntu, dan tidak spesifik untuk joblib:

• Baik multiprocessing.map dan joblib hanya menggunakan 1 cpu setelah memutakhirkan dari Ubuntu 10.10 ke 12.04
• Multiprosesor python hanya menggunakan satu inti
• multiprocessing.Pool proses dikunci ke inti tunggal

Saya akan menyarankan bereksperimen dengan afinitas CPU ( taskset).