Pertanyaan yang diberi tag «shared-memory»

Misalkan saya memiliki array numpy memori yang besar, saya memiliki fungsi funcyang mengambil array raksasa ini sebagai input (bersama dengan beberapa parameter lain). funcdengan parameter yang berbeda dapat dijalankan secara paralel. Sebagai contoh: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = …

124 python  numpy  parallel-processing  multiprocessing  shared-memory 

Saya memiliki sedikit masalah dengan salah satu proyek saya. Saya telah mencoba untuk menemukan contoh yang terdokumentasi dengan baik tentang penggunaan memori bersama fork()tetapi tidak berhasil. Pada dasarnya skenario adalah bahwa ketika pengguna memulai program, saya perlu menyimpan dua nilai dalam memori bersama: current_path yang merupakan char * dan nama_file …

117 c  linux  fork  shared-memory 

Saya memiliki 60GB SciPy Array (Matrix) yang harus saya bagikan antara 5+ multiprocessing Processobjek. Saya telah melihat numpy-sharedmem dan membaca diskusi ini di daftar SciPy. Tampaknya ada dua pendekatan - numpy-sharedmemdan menggunakan a multiprocessing.RawArray()dan memetakan NumPy dtypes ke ctypes. Sekarang, numpy-sharedmemsepertinya cara untuk pergi, tapi saya belum melihat contoh referensi …

90 python  numpy  multiprocessing  shared-memory 

Saya sering perlu menerapkan fungsi ke grup yang sangat besar DataFrame(tipe data campuran) dan ingin memanfaatkan beberapa inti. Saya dapat membuat iterator dari grup dan menggunakan modul multiprosesing, tetapi itu tidak efisien karena setiap grup dan hasil fungsi harus diawetkan untuk pengiriman pesan antar proses. Apakah ada cara untuk menghindari …

89 python  pandas  multiprocessing  shared-memory