Pertanyaan yang diberi tag «multiprocessing»

Saya ingin menggunakan array numpy dalam memori bersama untuk digunakan dengan modul multiprocessing. Kesulitannya adalah menggunakannya seperti array numpy, dan bukan hanya sebagai array ctypes. from multiprocessing import Process, Array import scipy def f(a): a[0] = -a[0] if __name__ == '__main__': # Create the array N = int(10) unshared_arr = …

111 python  numpy  multiprocessing  shared 

Belajar tentang Python Multiprocessing (dari artikel PMOTW ) dan akan menyukai beberapa klarifikasi tentang apa sebenarnya yang dilakukan join()metode ini. Dalam tutorial lama dari tahun 2008 disebutkan bahwa tanpa p.join()panggilan dalam kode di bawah ini, "proses anak akan diam dan tidak berhenti, menjadi zombie yang harus Anda bunuh secara manual". …

110 python  multiprocessing 

Saya menemukan bahwa di Python 3.4 ada beberapa perpustakaan yang berbeda untuk multiprocessing / threading: multiprocessing vs threading vs asyncio . Tapi saya tidak tahu mana yang akan digunakan atau yang "direkomendasikan". Apakah mereka melakukan hal yang sama atau berbeda? Jika iya, mana yang digunakan untuk apa? Saya ingin menulis …

108 python  multithreading  python-3.x  multiprocessing  python-asyncio 

Apakah proses anak muncul melalui objek berbagi multiprosesing yang dibuat sebelumnya dalam program? Saya memiliki pengaturan berikut: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') pool = Pool(processes=4) print pool.map(do_some_processing, glob.glob('*.data')) Saya memuat beberapa objek besar ke dalam memori, …

107 python  multiprocessing 

Untuk membuat kode saya lebih "pythonic" dan lebih cepat, saya menggunakan "multiprocessing" dan fungsi peta untuk mengirimkannya a) fungsi dan b) jangkauan iterasi. Solusi yang ditanamkan (yaitu, panggil tqdm langsung pada kisaran tqdm.tqdm (kisaran (0, 30)) tidak bekerja dengan multiprosesing (seperti yang dirumuskan dalam kode di bawah). Bilah kemajuan ditampilkan …

103 python  multiprocessing  progress-bar  tqdm 

Mungkinkah membuat Kolam python yang non-daemonic? Saya ingin sebuah pool dapat memanggil fungsi yang memiliki pool lain di dalamnya. Saya menginginkan ini karena proses deamon tidak dapat membuat proses. Secara khusus, ini akan menyebabkan kesalahan: AssertionError: daemonic processes are not allowed to have children Misalnya, pertimbangkan skenario di mana function_amemiliki …

102 python  multiprocessing  pool 

Saya memiliki skrip yang berhasil melakukan kumpulan tugas multiprosesing dengan imap_unordered()panggilan: p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion Namun, saya num_taskssekitar 250.000, jadi join()utas utama terkunci selama 10 detik atau lebih, dan saya ingin dapat menggema ke baris perintah secara …

96 python  multiprocessing 

Dokumentasi untuk multiprocessingmodul menunjukkan cara meneruskan antrian ke proses yang dimulai multiprocessing.Process. Tapi bagaimana saya bisa berbagi antrian dengan proses pekerja asynchronous yang dimulai apply_async? Saya tidak perlu bergabung dinamis atau apa pun, hanya cara bagi pekerja untuk (berulang kali) melaporkan hasil mereka kembali ke pangkalan. import multiprocessing def worker(name, …

96 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

Saya mengalami banyak kesulitan untuk mencoba memahami bagaimana antrian multiprosesing bekerja pada python dan bagaimana menerapkannya. Katakanlah saya memiliki dua modul python yang mengakses data dari file bersama, sebut saja dua modul ini sebagai penulis dan pembaca. Rencana saya adalah meminta pembaca dan penulis memasukkan permintaan ke dalam dua antrian …

94 python  multithreading  multiprocessing 

Saya mencoba membaca dokumentasi di http://docs.python.org/dev/library/multiprocessing.html tetapi saya masih kesulitan dengan multiprocessing Queue, Pool and Locking. Dan untuk saat ini saya dapat membuat contoh di bawah ini. Mengenai Antrian dan Pool, saya tidak yakin apakah saya memahami konsep dengan cara yang benar, jadi koreksi saya jika saya salah. Apa yang …

92 python  python-2.7  multiprocessing 

Saya memiliki 60GB SciPy Array (Matrix) yang harus saya bagikan antara 5+ multiprocessing Processobjek. Saya telah melihat numpy-sharedmem dan membaca diskusi ini di daftar SciPy. Tampaknya ada dua pendekatan - numpy-sharedmemdan menggunakan a multiprocessing.RawArray()dan memetakan NumPy dtypes ke ctypes. Sekarang, numpy-sharedmemsepertinya cara untuk pergi, tapi saya belum melihat contoh referensi …

90 python  numpy  multiprocessing  shared-memory 

Saya sering perlu menerapkan fungsi ke grup yang sangat besar DataFrame(tipe data campuran) dan ingin memanfaatkan beberapa inti. Saya dapat membuat iterator dari grup dan menggunakan modul multiprosesing, tetapi itu tidak efisien karena setiap grup dan hasil fungsi harus diawetkan untuk pengiriman pesan antar proses. Apakah ada cara untuk menghindari …

89 python  pandas  multiprocessing  shared-memory 

Saya mencoba menulis ulang beberapa kode pembacaan csv untuk dapat menjalankannya pada banyak inti dengan Python 3.2.2. Saya mencoba menggunakan Poolobjek multiprocessing, yang saya adaptasi dari contoh kerja (dan sudah bekerja untuk saya untuk bagian lain dari proyek saya). Saya mendapat pesan kesalahan yang menurut saya sulit diuraikan dan dipecahkan. …

87 python  python-3.x  multiprocessing  pool