Menggunakan jq dalam rantai pipa tidak menghasilkan output

Masalah jqmemerlukan filter eksplisit ketika output diarahkan kembali dibahas di seluruh web. Tapi saya tidak dapat mengarahkan output jika jqmerupakan bagian dari rantai pipa, bahkan ketika filter eksplisit sedang digunakan.

Mempertimbangkan:

touch in.txt
tail -f in.txt | jq '.f1'
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Seperti yang diharapkan, output di terminal asli dari jqperintah adalah:

1
3

Tetapi jika saya menambahkan segala jenis pengalihan atau pemipaan ke akhir jqperintah, hasilnya menjadi sunyi:

rm in.txt
touch in.txt
tail -f in.txt | jq '.f1' | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Tidak ada output yang muncul di terminal pertama dan out.txt kosong.

Saya sudah mencoba ratusan variasi tetapi ini masalah yang sulit dipahami. Satu-satunya solusi yang saya temukan , seperti yang ditemukan melalui mosquitto_subdan The Things Network (yang merupakan tempat saya juga menemukan masalah), adalah untuk membungkus fungsi ekor dan jq dalam skrip shell:

#!/bin/bash
tail -f $1 | while IFS='' read line; do
echo $line | jq '.f1'
done

Kemudian:

./tail_and_jq.sh | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Dan benar saja, output muncul:

1
3

Ini dengan yang terbaru jqdiinstal melalui Homebrew:

$ echo $SHELL
/bin/bash
$ jq --version
jq-1.5
$ brew install jq
Warning: jq 1.5_3 is already installed and up-to-date

Apakah ini bug (sebagian besar tidak berdokumen) di jqatau dengan pemahaman saya tentang rantai pipa?

Output dari jqbuffered ketika output standarnya disalurkan.

Untuk meminta yang jqmem-flush buffer outputnya setelah setiap objek, gunakan --unbufferedopsinya, mis

tail -f in.txt | jq --unbuffered '.f1' | tee out.txt

Dari jqmanual:

--unbuffered

Siram output setelah setiap objek JSON dicetak (berguna jika Anda memipip sumber data yang lambat ke jqdan memipipkan jqoutput di tempat lain).

Apa yang Anda lihat di sini adalah buffering C stdio dalam aksi. Ini akan menyimpan output pada buffer hingga mencapai batas tertentu (mungkin 512 byte, atau 4KB atau lebih besar) dan kemudian mengirimkannya sekaligus.

Buffer ini dinonaktifkan secara otomatis jika stdout terhubung ke terminal, tetapi ketika terhubung ke pipa (seperti dalam kasus Anda), buffering ini akan mengaktifkan perilaku buffering ini.

Cara biasa untuk menonaktifkan / mengontrol buffering adalah menggunakan setvbuf()fungsi (lihat jawaban ini untuk lebih jelasnya), tetapi itu perlu dilakukan dalam kode sumbernya jqsendiri, jadi mungkin bukan sesuatu yang praktis untuk Anda ...

Ada solusinya ... (Retas, bisa dikatakan.) Ada program yang disebut "unbuffer", yang didistribusikan dengan "harapkan" yang dapat membuat terminal pseudo dan menghubungkannya ke program. Jadi, meskipun jqmasih akan menulis ke pipa, itu akan berpikir itu menulis ke terminal, dan efek buffering akan dinonaktifkan.

Instal paket "expect", yang seharusnya datang dengan "unbuffer", jika Anda belum memilikinya ... Misalnya, di Debian (atau Ubuntu):

$ sudo apt-get install expect

Kemudian Anda dapat menggunakan perintah ini:

$ tail -f in.txt | unbuffer -p jq '.f1' | tee out.txt

Lihat juga jawaban ini untuk beberapa detail lebih lanjut tentang "unbuffer", dan Anda dapat menemukan halaman manual di sini juga .