Total memori yang digunakan oleh proses Python?

Apakah ada cara untuk program Python untuk menentukan berapa banyak memori yang sedang digunakan? Saya telah melihat diskusi tentang penggunaan memori untuk satu objek, tetapi yang saya butuhkan adalah penggunaan memori total untuk proses tersebut, sehingga saya dapat menentukan kapan perlu untuk mulai membuang data yang di-cache.

Berikut ini adalah solusi yang berguna yang berfungsi untuk berbagai sistem operasi, termasuk Linux, Windows 7, dll .:

import os
import psutil
process = psutil.Process(os.getpid())
print(process.memory_info().rss)  # in bytes 

Pada instal Python 2.7 saya saat ini dengan psutil 5.6.3, baris terakhir seharusnya

print(process.memory_info()[0])

sebagai gantinya (ada perubahan pada API).

Catatan: lakukan pip install psutiljika belum diinstal.

Untuk sistem berbasis Unix (Linux, Mac OS X, Solaris), Anda dapat menggunakan getrusage()fungsi dari modul perpustakaan standar resource. Objek yang dihasilkan memiliki atribut ru_maxrss, yang memberikan penggunaan memori puncak untuk proses panggilan:

>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
2656  # peak memory usage (kilobytes on Linux, bytes on OS X)

Dokumen Python tidak mencatat unit. Lihat man getrusage.2halaman sistem spesifik Anda untuk memeriksa unit untuk nilainya. Pada Ubuntu 18.04, unit dicatat sebagai kilobyte. Di Mac OS X, ini byte.

The getrusage()fungsi juga dapat diberikan resource.RUSAGE_CHILDRENuntuk mendapatkan penggunaan untuk proses anak, dan (pada beberapa sistem)resource.RUSAGE_BOTH total (diri dan anak) penggunaan proses.

Jika Anda hanya peduli dengan Linux, Anda dapat membaca file /proc/self/statusatau /proc/self/statmsebagai alternatif yang dijelaskan dalam jawaban lain untuk pertanyaan ini dan yang ini juga.

Di Windows, Anda dapat menggunakan WMI ( beranda , cheeseshop ):

def memory():
    import os
    from wmi import WMI
    w = WMI('.')
    result = w.query("SELECT WorkingSet FROM Win32_PerfRawData_PerfProc_Process WHERE IDProcess=%d" % os.getpid())
    return int(result[0].WorkingSet)

Di Linux (dari python cookbook http://code.activestate.com/recipes/286222/ :

import os
_proc_status = '/proc/%d/status' % os.getpid()

_scale = {'kB': 1024.0, 'mB': 1024.0*1024.0,
          'KB': 1024.0, 'MB': 1024.0*1024.0}

def _VmB(VmKey):
    '''Private.
    '''
    global _proc_status, _scale
     # get pseudo file  /proc/<pid>/status
    try:
        t = open(_proc_status)
        v = t.read()
        t.close()
    except:
        return 0.0  # non-Linux?
     # get VmKey line e.g. 'VmRSS:  9999  kB\n ...'
    i = v.index(VmKey)
    v = v[i:].split(None, 3)  # whitespace
    if len(v) < 3:
        return 0.0  # invalid format?
     # convert Vm value to bytes
    return float(v[1]) * _scale[v[2]]


def memory(since=0.0):
    '''Return memory usage in bytes.
    '''
    return _VmB('VmSize:') - since


def resident(since=0.0):
    '''Return resident memory usage in bytes.
    '''
    return _VmB('VmRSS:') - since


def stacksize(since=0.0):
    '''Return stack size in bytes.
    '''
    return _VmB('VmStk:') - since

Pada unix, Anda dapat menggunakan psalat untuk memonitornya:

$ ps u -p 1347 | awk '{sum=sum+$6}; END {print sum/1024}'

di mana 1347 adalah beberapa id proses. Juga, hasilnya adalah dalam MB.

Penggunaan memori saat ini dari proses saat ini di Linux , untuk Python 2 , Python 3 , dan pypy , tanpa impor apa pun:

def getCurrentMemoryUsage():
    ''' Memory usage in kB '''

    with open('/proc/self/status') as f:
        memusage = f.read().split('VmRSS:')[1].split('\n')[0][:-3]

    return int(memusage.strip())

Itu membaca file status dari proses saat ini, mengambil semuanya setelah itu VmRSS:, kemudian mengambil segalanya sebelum baris baru pertama (mengisolasi nilai VmRSS), dan akhirnya memotong 3 byte terakhir yang merupakan ruang dan unit (kB).
Untuk kembali, ia menghapus spasi dan mengembalikannya sebagai angka.

Diuji pada Linux 4.4 dan 4.9, tetapi bahkan versi Linux awal harus berfungsi: mencari man procdan mencari info pada /proc/$PID/statusfile, ia menyebutkan versi minimum untuk beberapa bidang (seperti Linux 2.6.10 untuk "VmPTE"), tetapi "VmRSS "bidang (yang saya gunakan di sini) tidak disebutkan. Karena itu saya menganggap sudah ada di sana sejak versi awal.

Saya suka itu , terima kasih untuk @bayer. Saya mendapatkan alat hitung proses tertentu, sekarang.

# Megabyte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum/1024 " MB"}'
87.9492 MB

# Byte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum " KB"}'
90064 KB

Lampirkan daftar proses saya.

$ ps aux  | grep python
root       943  0.0  0.1  53252  9524 ?        Ss   Aug19  52:01 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root       950  0.6  0.4 299680 34220 ?        Sl   Aug19 568:52 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root      3803  0.2  0.4 315692 36576 ?        S    12:43   0:54 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
jonny    23325  0.0  0.1  47460  9076 pts/0    S+   17:40   0:00 python
jonny    24651  0.0  0.0  13076   924 pts/4    S+   18:06   0:00 grep python

Referensi

• memory - Linux: cari tahu proses apa yang menggunakan semua RAM? - Pengguna Super
• Total memori yang digunakan oleh proses Python? - Stack Overflow
• linux - ps aux output meaning - Pengguna Super

Untuk Python 3.6 dan psutil 5.4.5 lebih mudah untuk menggunakan memory_percent()fungsi yang tercantum di sini .

import os
import psutil
process = psutil.Process(os.getpid())
print(process.memory_percent())

Bahkan lebih mudah digunakan daripada /proc/self/status: /proc/self/statm. Ini hanya daftar terbatas beberapa ruang statistik . Saya belum bisa memastikan apakah kedua file selalu ada.

/ proc / [pid] / statm

Memberikan informasi tentang penggunaan memori, diukur dalam halaman. Kolomnya adalah:

• size (1) total ukuran program (sama dengan VmSize di / proc / [pid] / status)
• resident (2) resident set size (sama dengan VmRSS di / proc / [pid] / status)
• shared (3) jumlah resident shared pages (yaitu, didukung oleh file) (sama seperti RssFile + RssShmem di / proc / [pid] / status)
• teks (4) teks (kode)
• lib (5) library (tidak digunakan sejak Linux 2.6; selalu 0)
• data (6) data + stack
• dt (7) halaman kotor (tidak digunakan sejak Linux 2.6; selalu 0)

Berikut ini contoh sederhana:

from pathlib import Path
from resource import getpagesize

PAGESIZE = getpagesize()
PATH = Path('/proc/self/statm')


def get_resident_set_size() -> int:
    """Return the current resident set size in bytes."""
    # statm columns are: size resident shared text lib data dt
    statm = PATH.read_text()
    fields = statm.split()
    return int(fields[1]) * PAGESIZE


data = []
start_memory = get_resident_set_size()
for _ in range(10):
    data.append('X' * 100000)
    print(get_resident_set_size() - start_memory)

Itu menghasilkan daftar yang terlihat seperti ini:

0
0
368640
368640
368640
638976
638976
909312
909312
909312

Anda dapat melihat bahwa itu melonjak sekitar 300.000 byte setelah sekitar 3 alokasi 100.000 byte.

Di bawah ini adalah dekorator fungsi saya yang memungkinkan untuk melacak berapa banyak memori yang digunakan proses ini sebelum panggilan fungsi, berapa banyak memori yang digunakan setelah panggilan fungsi, dan berapa lama fungsi ini dijalankan.

import time
import os
import psutil


def elapsed_since(start):
    return time.strftime("%H:%M:%S", time.gmtime(time.time() - start))


def get_process_memory():
    process = psutil.Process(os.getpid())
    return process.memory_info().rss


def track(func):
    def wrapper(*args, **kwargs):
        mem_before = get_process_memory()
        start = time.time()
        result = func(*args, **kwargs)
        elapsed_time = elapsed_since(start)
        mem_after = get_process_memory()
        print("{}: memory before: {:,}, after: {:,}, consumed: {:,}; exec time: {}".format(
            func.__name__,
            mem_before, mem_after, mem_after - mem_before,
            elapsed_time))
        return result
    return wrapper

Jadi, ketika Anda memiliki beberapa fungsi yang dihiasi dengannya

from utils import track

@track
def list_create(n):
    print("inside list create")
    return [1] * n

Anda akan dapat melihat output ini:

inside list create
list_create: memory before: 45,928,448, after: 46,211,072, consumed: 282,624; exec time: 00:00:00

import os, win32api, win32con, win32process
han = win32api.OpenProcess(win32con.PROCESS_QUERY_INFORMATION|win32con.PROCESS_VM_READ, 0, os.getpid())
process_memory = int(win32process.GetProcessMemoryInfo(han)['WorkingSetSize'])

Untuk perintah sistem Unix time(/ usr / bin / time) memberi Anda info itu jika Anda lulus -v. Lihat di Maximum resident set sizebawah ini, yang merupakan memori maksimum (puncak) nyata (bukan virtual) yang digunakan selama eksekusi program :

$ /usr/bin/time -v ls /

    Command being timed: "ls /"
    User time (seconds): 0.00
    System time (seconds): 0.01
    Percent of CPU this job got: 250%
    Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.00
    Average shared text size (kbytes): 0
    Average unshared data size (kbytes): 0
    Average stack size (kbytes): 0
    Average total size (kbytes): 0
    Maximum resident set size (kbytes): 0
    Average resident set size (kbytes): 0
    Major (requiring I/O) page faults: 0
    Minor (reclaiming a frame) page faults: 315
    Voluntary context switches: 2
    Involuntary context switches: 0
    Swaps: 0
    File system inputs: 0
    File system outputs: 0
    Socket messages sent: 0
    Socket messages received: 0
    Signals delivered: 0
    Page size (bytes): 4096
    Exit status: 0

Menggunakan sh dan os untuk masuk ke jawaban python bayer.

float(sh.awk(sh.ps('u','-p',os.getpid()),'{sum=sum+$6}; END {print sum/1024}'))

Jawabannya dalam megabita.