Pertanyaan yang diberi tag «multiprocessing»

Di pustaka multiprosesor Python, apakah ada varian pool.map yang mendukung banyak argumen? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()

536 python  multiprocessing 

Saya belum melihat contoh yang jelas dengan kasus penggunaan untuk Pool.apply , Pool.apply_async dan Pool.map . Saya terutama menggunakan Pool.map; apa kelebihan orang lain?

290 python  multithreading  concurrency  multiprocessing 

Saya menyesal tidak dapat mereproduksi kesalahan dengan contoh yang lebih sederhana, dan kode saya terlalu rumit untuk dikirim. Jika saya menjalankan program di shell IPython bukan Python biasa, semuanya berjalan dengan baik. Saya mencari beberapa catatan sebelumnya tentang masalah ini. Mereka semua disebabkan oleh penggunaan pool untuk memanggil fungsi yang …

244 python  multiprocessing  pickle  python-multiprocessing 

Saat ini saya memiliki modul pusat dalam kerangka kerja yang memunculkan beberapa proses menggunakan multiprocessingmodul Python 2.6 . Karena itu digunakan multiprocessing, ada log tingkat-sadar multiprocessing modul LOG = multiprocessing.get_logger(),. Per dokumen , logger ini memiliki kunci proses bersama sehingga Anda tidak memutarbalikkan hal-hal sys.stderr(atau file apa pun yang ditangani) …

239 python  logging  multiprocessing 

Saya mencoba untuk menggunakan multiprocessing's Pool.map()fungsi untuk membagi pekerjaan secara bersamaan. Ketika saya menggunakan kode berikut, itu berfungsi dengan baik: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__' : go() Namun, ketika saya menggunakannya dalam pendekatan yang lebih berorientasi objek, itu …

218 python  multithreading  multiprocessing  pickle  pool 

Saya mencoba mempelajari cara menggunakan multiprocessingpaket Python , tetapi saya tidak mengerti perbedaan antara map_asyncdan imap. Saya perhatikan bahwa keduanya map_asyncdan imapdijalankan secara tidak sinkron. Jadi kapan saya harus menggunakan yang satu? Dan bagaimana saya harus mengambil hasil yang dikembalikan map_async? Haruskah saya menggunakan sesuatu seperti ini? def test(): result …

184 python  multiprocessing  python-multiprocessing 

Ketika saya menjalankan sesuatu seperti: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) ini bekerja dengan baik. Namun, menempatkan ini sebagai fungsi kelas: class calculate(object): def run(self): def f(x): return x*x p = Pool() return p.map(f, [1,2,3]) cl = calculate() print cl.run() Memberi saya kesalahan …

179 python  multiprocessing  pickle 

Apa perbedaan mendasar antara antrian dan pipa dalam paket multiprosesor Python ? Dalam skenario apa yang harus dipilih satu dari yang lain? Kapan itu menguntungkan untuk digunakan Pipe()? Kapan itu menguntungkan untuk digunakan Queue()?

151 python  performance  queue  multiprocessing  pipe 

Python 3.2 memperkenalkan Concurrent Futures , yang tampaknya merupakan kombinasi lanjutan dari modul threading dan multiprocessing yang lebih tua . Apa kelebihan dan kekurangan menggunakan ini untuk tugas-tugas yang terikat CPU atas modul multiprosesor yang lebih lama? Artikel ini menunjukkan bahwa mereka lebih mudah untuk dikerjakan - apakah itu masalahnya?

148 python  python-3.x  multiprocessing 

Saya belajar cara menggunakan threadingdan multiprocessingmodul dalam Python untuk menjalankan operasi tertentu secara paralel dan mempercepat kode saya. Saya menemukan ini sulit (mungkin karena saya tidak memiliki latar belakang teoritis tentang hal itu) untuk memahami apa perbedaan antara threading.Thread()objek danmultiprocessing.Process() . Juga, tidak sepenuhnya jelas bagi saya bagaimana membuat instance …

141 python  multithreading  parallel-processing  process  multiprocessing 

Bagaimana saya bisa menangani peristiwa KeyboardInterrupt dengan Pools multi-pemrosesan python? Ini adalah contoh sederhana: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool = Pool(8) try: results = pool.map(slowly_square, range(40)) except KeyboardInterrupt: # **** THIS PART NEVER EXECUTES. **** …

136 python  multiprocessing  pool  keyboardinterrupt 

Saya tidak yakin apakah ini dianggap lebih sebagai masalah OS, tapi saya pikir saya akan bertanya di sini kalau-kalau ada yang memiliki wawasan dari akhir Python. Saya telah mencoba untuk memparalelkan penggunaan CPU-heavy forloop joblib, tetapi saya menemukan bahwa alih-alih setiap proses pekerja ditugaskan ke inti yang berbeda, saya berakhir …

127 python  linux  numpy  multiprocessing  blas 

Misalkan saya memiliki array numpy memori yang besar, saya memiliki fungsi funcyang mengambil array raksasa ini sebagai input (bersama dengan beberapa parameter lain). funcdengan parameter yang berbeda dapat dijalankan secara paralel. Sebagai contoh: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = …

124 python  numpy  parallel-processing  multiprocessing  shared-memory 

Saya mencoba program python formal pertama saya menggunakan Threading dan Multiprocessing pada mesin windows. Saya tidak dapat meluncurkan prosesnya, dengan python memberikan pesan berikut. Masalahnya, saya tidak meluncurkan utas saya di modul utama . Utas ditangani dalam modul terpisah di dalam kelas. EDIT : Ngomong-ngomong kode ini berjalan dengan baik …

123 python  windows  multiprocessing 

Program yang membuat beberapa proses yang bekerja pada antrian yang dapat digabungkan Q, dan pada akhirnya dapat memanipulasi kamus global Duntuk menyimpan hasil. (sehingga setiap proses anak dapat menggunakan Duntuk menyimpan hasilnya dan juga melihat hasil apa yang dihasilkan oleh proses anak lainnya) Jika saya mencetak kamus D dalam proses …

113 python  multiprocessing