Matikan buffering in pipe

Saya memiliki skrip yang memanggil dua perintah:

long_running_command | print_progress

Hasil long_running_commandcetak mengalami kemajuan tetapi saya tidak senang dengannya. Saya menggunakan print_progressuntuk membuatnya lebih baik (yaitu, saya mencetak kemajuan dalam satu baris).

Masalahnya: Koneksi pipa ke stdout juga mengaktifkan buffer 4K, ke program cetak yang bagus tidak mendapatkan apa-apa ... tidak ada ... tidak ada ... banyak ... :)

Bagaimana saya bisa menonaktifkan buffer 4K untuk long_running_command(tidak, saya tidak punya sumber)?

Anda dapat menggunakan unbufferperintah (yang datang sebagai bagian dari expectpaket), mis

unbuffer long_running_command | print_progress

unbufferterhubung ke long_running_commandmelalui pseudoterminal (pty), yang membuat sistem memperlakukannya sebagai proses interaktif, oleh karena itu tidak menggunakan buffering 4-kiB dalam pipa yang merupakan kemungkinan penyebab keterlambatan.

Untuk saluran pipa yang lebih panjang, Anda mungkin harus membatalkan perintah masing-masing (kecuali yang terakhir), misalnya

unbuffer x | unbuffer -p y | z

Cara lain untuk menguliti kucing ini adalah dengan menggunakan stdbufprogram, yang merupakan bagian dari GNU Coreutils (FreeBSD juga memiliki programnya sendiri).

stdbuf -i0 -o0 -e0 command

Ini mematikan buffering sepenuhnya untuk input, output dan kesalahan. Untuk beberapa aplikasi, buffer garis mungkin lebih cocok untuk alasan kinerja:

stdbuf -oL -eL command

_{Perhatikan bahwa ini hanya berfungsi untuk stdiobuffering ( printf(), fputs()...) untuk aplikasi yang terhubung secara dinamis, dan hanya jika aplikasi itu tidak menyesuaikan buffering dari stream standarnya sendiri, meskipun itu harus mencakup sebagian besar aplikasi.}

Namun cara lain untuk mengaktifkan mode output line-buffering untuk long_running_commandadalah dengan menggunakan scriptperintah yang menjalankan Anda long_running_commanddi terminal semu (pty).

script -q /dev/null long_running_command | print_progress      # FreeBSD, Mac OS X
script -c "long_running_command" /dev/null | print_progress    # Linux

Untuk grep, seddan awkAnda dapat memaksa output menjadi buffer line. Anda dapat gunakan:

grep --line-buffered

Paksa output menjadi garis buffered. Secara default, output adalah garis buffered ketika output standar adalah terminal dan memblokir buffer-bijaksana.

sed -u

Buat garis output buffered.

Lihat halaman ini untuk informasi lebih lanjut: http://www.perkin.org.uk/posts/how-to-fix-stdio-buffering.html

Jika masalah dengan libc memodifikasi buffering / flushing ketika output tidak masuk ke terminal, Anda harus mencoba socat . Anda dapat membuat aliran dua arah antara hampir semua jenis mekanisme I / O. Salah satunya adalah program bercabang bercakap-cakap dengan pseudo tty.

 socat EXEC:long_running_command,pty,ctty STDIO 

Apa yang dilakukannya adalah

• buat pseudo tty
• fork long_running_command dengan sisi slave pty sebagai stdin / stdout
• buat aliran dua arah antara sisi master pty dan alamat kedua (ini dia STDIO)

Jika ini memberi Anda output yang sama dengan long_running_command, maka Anda dapat melanjutkan dengan pipa.

Sunting: Wow Tidak melihat jawaban unbuffer! Yah, socat adalah alat yang hebat, jadi saya mungkin meninggalkan jawaban ini

Anda dapat gunakan

long_running_command 1>&2 |& print_progress

Masalahnya adalah bahwa libc akan buffer-line ketika stdout ke layar, dan buffer penuh ketika stdout ke file. Tapi tanpa buffer untuk stderr.

Saya tidak berpikir itu masalah dengan penyangga pipa, ini semua tentang kebijakan penyangga libc.

Dulu kasusnya, dan mungkin masih demikian, bahwa ketika output standar ditulis ke terminal, itu adalah garis buffered secara default - ketika baris baru ditulis, garis tersebut ditulis ke terminal. Ketika output standar dikirim ke pipa, itu sepenuhnya buffered - sehingga data hanya dikirim ke proses berikutnya dalam pipa ketika buffer I / O standar diisi.

Itulah sumber masalahnya. Saya tidak yakin apakah ada banyak yang dapat Anda lakukan untuk memperbaikinya tanpa mengubah program menulis ke dalam pipa. Anda bisa menggunakan setvbuf()fungsi dengan _IOLBFflag untuk tanpa syarat dimasukkan stdoutke mode buffered line. Tapi saya tidak melihat cara mudah untuk menerapkannya pada sebuah program. Atau program dapat melakukannya fflush()pada titik yang sesuai (setelah setiap baris output), tetapi komentar yang sama berlaku.

Saya mengira bahwa jika Anda mengganti pipa dengan pseudo-terminal, maka perpustakaan I / O standar akan berpikir output adalah terminal (karena itu adalah jenis terminal) dan akan menyangga buffer secara otomatis. Namun, itu adalah cara yang rumit untuk berurusan dengan berbagai hal.

Saya tahu ini adalah pertanyaan lama dan sudah memiliki banyak jawaban, tetapi jika Anda ingin menghindari masalah buffer, coba saja sesuatu seperti:

stdbuf -oL tail -f /var/log/messages | tee -a /home/your_user_here/logs.txt

Ini akan menampilkan log waktu nyata dan juga menyimpannya ke dalam logs.txtfile dan buffer tidak akan lagi mempengaruhi tail -fperintah.

Saya tidak berpikir masalahnya dengan pipa. Sepertinya proses lama Anda tidak cukup sering menyiram buffernya sendiri. Mengubah ukuran buffer pipa akan menjadi hack untuk memperbaikinya, tetapi saya tidak berpikir itu mungkin tanpa membangun kembali kernel - sesuatu yang Anda tidak ingin lakukan sebagai hack, karena mungkin aversley mempengaruhi banyak proses lainnya.

Menurut posting ini di sini , Anda dapat mencoba mengurangi ulimit pipa menjadi satu blok 512-byte tunggal. Ini tentu saja tidak akan mematikan buffering, tapi yah, 512 byte lebih kecil dari 4K: 3

Dalam nada yang mirip dengan jawaban chad , Anda dapat menulis skrip kecil seperti ini:

# save as ~/bin/scriptee, or so
script -q /dev/null sh -c 'exec cat > /dev/null'

Kemudian gunakan scripteeperintah ini sebagai pengganti tee.

my-long-running-command | scriptee

Sayangnya, sepertinya saya tidak bisa mendapatkan versi seperti itu untuk bekerja dengan sempurna di Linux, jadi sepertinya terbatas pada unix gaya BSD.

Di Linux, ini sudah dekat, tetapi Anda tidak mendapatkan kembali prompt ketika selesai (sampai Anda menekan enter, dll) ...

script -q -c 'cat > /proc/self/fd/1' /dev/null

Saya menemukan solusi cerdas ini: (echo -e "cmd 1\ncmd 2" && cat) | ./shell_executable

Ini caranya. catakan membaca input tambahan (sampai EOF) dan meneruskannya ke pipa setelah echoargumennya dimasukkan ke dalam aliran input shell_executable.

Menurut ini , ukuran buffer pipa tampaknya diatur dalam kernel dan akan meminta Anda untuk mengkompilasi ulang kernel Anda untuk diubah.