Profiler memori Python mana yang disarankan? [Tutup]

Saya ingin tahu penggunaan memori aplikasi Python saya dan secara khusus ingin tahu blok kode apa / bagian atau objek yang menghabiskan sebagian besar memori. Pencarian Google menunjukkan yang komersial adalah Python Memory Validator (hanya Windows).

Dan yang open source adalah PySizer dan Heapy .

Saya belum mencoba siapa pun, jadi saya ingin tahu yang mana yang terbaik mempertimbangkan:

1. Memberikan sebagian besar detail.

2. Saya harus melakukan sedikit atau tidak ada perubahan pada kode saya.

Heapy cukup mudah digunakan. Pada titik tertentu dalam kode Anda, Anda harus menulis yang berikut ini:

from guppy import hpy
h = hpy()
print(h.heap())

Ini memberi Anda beberapa output seperti ini:

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

Anda juga dapat mencari tahu dari mana objek direferensikan dan mendapatkan statistik tentang itu, tetapi entah bagaimana dokumen yang agak jarang.

Ada juga browser grafis, yang ditulis dalam Tk.

Karena tidak ada yang menyebutkannya, saya akan menunjuk ke module memory_profiler saya yang mampu mencetak laporan baris demi baris penggunaan memori dan bekerja pada Unix dan Windows (perlu psutil pada yang terakhir ini). Keluaran tidak terlalu rinci tetapi tujuannya adalah untuk memberi Anda gambaran di mana kode memakan lebih banyak memori dan bukan analisis lengkap tentang objek yang dialokasikan.

Setelah mendekorasi fungsi Anda dengan @profiledan menjalankan kode Anda dengan -m memory_profilerbendera itu akan mencetak laporan baris-demi-baris seperti ini:

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

Saya merekomendasikan Dowser . Pengaturannya sangat mudah, dan Anda perlu nol perubahan pada kode Anda. Anda dapat melihat jumlah objek dari setiap jenis melalui waktu, melihat daftar objek hidup, melihat referensi ke objek hidup, semua dari antarmuka web sederhana.

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

Anda mengimpor memdebug, dan memanggil memdebug.start. Itu saja.

Saya belum mencoba PySizer atau Heapy. Saya akan menghargai ulasan orang lain.

MEMPERBARUI

Kode di atas adalah untuk CherryPy 2.X, CherryPy 3.Xyang server.quickstartmetode telah dihapus dan engine.starttidak mengambil blockingbendera. Jadi, jika Anda menggunakanCherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

Pertimbangkan perpustakaan objgraph (lihathttp://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks untuk contoh kasus penggunaan).

Muppy adalah (yang lain) Memory Usage Profiler untuk Python. Fokus dari perangkat ini diletakkan pada identifikasi kebocoran memori.

Muppy mencoba membantu pengembang untuk mengidentifikasi kebocoran memori aplikasi Python. Ini memungkinkan pelacakan penggunaan memori selama runtime dan identifikasi objek yang bocor. Selain itu, alat disediakan yang memungkinkan untuk menemukan sumber objek yang tidak dirilis.

Saya sedang mengembangkan memory profiler untuk Python yang disebut memprof:

http://jmdana.github.io/memprof/

Ini memungkinkan Anda untuk mencatat dan memplot penggunaan memori variabel Anda selama eksekusi metode yang didekorasi. Anda hanya perlu mengimpor perpustakaan menggunakan:

from memprof import memprof

Dan hiasi metode Anda menggunakan:

@memprof

Ini adalah contoh bagaimana plot terlihat:

Proyek ini dihosting di GitHub:

https://github.com/jmdana/memprof

Saya menemukan meliae jauh lebih fungsional daripada Heapy atau PySizer. Jika Anda menjalankan websi wsgi, Dozer adalah pembungkus middleware Dowser yang bagus

Coba juga proyek pytracemalloc yang menyediakan penggunaan memori per nomor baris Python.

EDIT (2014/04): Sekarang memiliki Qt GUI untuk menganalisis foto.