Tulis Python stdout ke file segera

Saat mencoba menulis stdout dari skrip Python ke file teks ( python script.py > log), file teks dibuat ketika perintah dimulai, tetapi konten yang sebenarnya tidak ditulis sampai skrip Python selesai. Sebagai contoh:

script.py:

import time
for i in range(10):
    print('bla')
    time.sleep(5)

mencetak ke stdout setiap 5 detik saat dipanggil dengan python script.py, tetapi ketika saya menelepon python script.py > log, ukuran file log tetap nol sampai skrip selesai. Apakah mungkin untuk langsung menulis ke file log, sehingga Anda dapat mengikuti kemajuan skrip (misalnya menggunakan tail)?

EDIT Ternyata yang python -u script.pymelakukan trik, saya tidak tahu tentang buffering stdout.

Hal ini terjadi karena biasanya ketika proses STDOUT dialihkan ke sesuatu selain terminal, maka output buffer ke beberapa buffer berukuran khusus OS (mungkin 4k atau 8k dalam banyak kasus). Sebaliknya, ketika mengeluarkan ke terminal, STDOUT akan menjadi buffer-line atau tidak buffer sama sekali, sehingga Anda akan melihat output setelah masing \n- masing atau untuk setiap karakter.

Anda biasanya dapat mengubah buffer STDOUT dengan stdbufutilitas:

stdbuf -oL python script.py > log

Sekarang jika Anda tail -F log, Anda akan melihat setiap output garis segera setelah dihasilkan.

Atau pembilasan eksplisit dari aliran output setelah setiap cetak harus mencapai hal yang sama. Sepertinya sys.stdout.flush()harus mencapai ini dengan Python. Jika Anda menggunakan Python 3.3 atau yang lebih baru, yang printfungsi juga memiliki flushkata kunci yang melakukan hal ini: print('hello', flush=True).

Ini harus melakukan pekerjaan:

import time, sys
for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)

Karena Python akan buffer stdoutsecara default, di sini saya telah menggunakan sys.stdout.flush()flush buffer.

Solusi lain adalah dengan menggunakan -usaklar (unbuffered) dari python. Jadi, yang berikut juga akan berlaku:

python -u script.py >> log

Variasi pada tema menggunakan opsi python sendiri untuk keluaran unbuffered akan digunakan #!/usr/bin/python -usebagai baris pertama.

Dengan #!/usr/bin/env pythonargumen tambahan itu tidak akan berfungsi, maka sebagai alternatif, seseorang dapat menjalankan PYTHONUNBUFFERED=1 ./my_scriipt.py > output.txtatau melakukannya dalam dua langkah:

$ export PYTHONUNBUFFERED=1
$ ./myscript.py

Anda harus beralih flush=Trueke printfungsi:

import time

for i in range(10):
    print('bla', flush=True)
    time.sleep(5)

Menurut dokumentasi, secara default, printtidak menerapkan apa pun tentang pembilasan:

Apakah output buffered biasanya ditentukan oleh file, tetapi jika flushargumen kata kunci itu benar, aliran secara paksa memerah.

Dan dokumentasi untuk sysstrems mengatakan:

Saat interaktif, stream standar diberi buffer-line. Kalau tidak, blok-buffered seperti file teks biasa. Anda dapat mengganti nilai ini dengan -uopsi baris perintah.

Jika Anda terjebak dengan versi python kuno, Anda harus memanggil flushmetode sys.stdoutstream:

import sys
import time

for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)