Paksa pembilasan output ke file saat skrip bash masih berjalan

Saya memiliki skrip kecil, yang dipanggil setiap hari oleh crontab menggunakan perintah berikut:

/homedir/MyScript &> some_log.log

Masalah dengan metode ini adalah some_log.log hanya dibuat setelah MyScript selesai. Saya ingin memindahkan output dari program ke dalam file saat sedang berjalan sehingga saya dapat melakukan hal-hal seperti

tail -f some_log.log

dan melacak kemajuannya, dll.

bash sendiri tidak akan pernah benar-benar menulis keluaran apa pun ke file log Anda. Sebaliknya, perintah yang dipanggil sebagai bagian dari skrip masing-masing akan menulis output dan menghapusnya kapan pun mereka mau. Jadi pertanyaan Anda sebenarnya adalah bagaimana memaksa perintah dalam skrip bash untuk mengosongkan, dan itu tergantung pada apa itu.

Saya menemukan solusi untuk ini di sini . Menggunakan contoh OP pada dasarnya Anda menjalankan

stdbuf -oL /homedir/MyScript &> some_log.log

dan kemudian buffer dihilangkan setelah setiap baris output. Saya sering menggabungkan ini dengan nohupmenjalankan pekerjaan lama di mesin jarak jauh.

stdbuf -oL nohup /homedir/MyScript &> some_log.log

Dengan cara ini proses Anda tidak dibatalkan saat Anda keluar.

script -c <PROGRAM> -f OUTPUT.txt

Kuncinya adalah -f. Kutipan dari naskah pria:

-f, --flush
     Flush output after each write.  This is nice for telecooperation: one person
     does 'mkfifo foo; script -f foo', and another can supervise real-time what is
     being done using 'cat foo'.

Jalankan di latar belakang:

nohup script -c <PROGRAM> -f OUTPUT.txt

Anda dapat menggunakan teeuntuk menulis ke file tanpa perlu membersihkan.

/homedir/MyScript 2>&1 | tee some_log.log > /dev/null

Ini bukan fungsi dari bash, karena yang dilakukan semua shell adalah membuka file yang dipermasalahkan dan kemudian meneruskan deskriptor file sebagai output standar skrip. Yang perlu Anda lakukan adalah memastikan keluaran dihapus dari skrip Anda lebih sering daripada saat ini.

Di Perl misalnya, ini dapat dilakukan dengan menyetel:

$| = 1;

Lihat perlvar untuk informasi lebih lanjut tentang ini.

Buffering output bergantung pada bagaimana program Anda /homedir/MyScriptdiimplementasikan. Jika Anda menemukan bahwa output mendapatkan buffer, Anda harus memaksanya dalam implementasi Anda. Misalnya, gunakan sys.stdout.flush () jika itu program python atau gunakan fflush (stdout) jika itu program C.

Apakah ini membantu?

tail -f access.log | stdbuf -oL cut -d ' ' -f1 | uniq 

Ini akan segera menampilkan entri unik dari access.log menggunakan utilitas stdbuf .

Masalahnya baru saja terlihat di sini adalah Anda harus menunggu program yang dijalankan dari skrip Anda menyelesaikan tugasnya.
Jika di skrip Anda, Anda menjalankan program di latar belakang Anda dapat mencoba sesuatu yang lebih.

Secara umum panggilan ke sync sebelum Anda keluar memungkinkan untuk membersihkan buffer sistem file dan dapat sedikit membantu.

Jika dalam skrip Anda memulai beberapa program di background ( &), Anda dapat menunggu hingga program selesai sebelum Anda keluar dari skrip. Untuk mengetahui bagaimana fungsinya bisa anda simak dibawah ini

#!/bin/bash
#... some stuffs ...
program_1 &          # here you start a program 1 in background
PID_PROGRAM_1=${!}   # here you remember its PID
#... some other stuffs ... 
program_2 &          # here you start a program 2 in background
wait ${!}            # You wait it finish not really useful here
#... some other stuffs ... 
daemon_1 &           # We will not wait it will finish
program_3 &          # here you start a program 1 in background
PID_PROGRAM_3=${!}   # here you remember its PID
#... last other stuffs ... 
sync
wait $PID_PROGRAM_1
wait $PID_PROGRAM_3  # program 2 is just ended
# ...

Karena waitbekerja dengan pekerjaan serta dengan PIDangka, solusi malas harus diletakkan di akhir skrip

for job in `jobs -p`
do
   wait $job 
done

Situasi yang lebih sulit adalah jika Anda menjalankan sesuatu yang menjalankan sesuatu yang lain di latar belakang karena Anda harus mencari dan menunggu (jika memang demikian) akhir dari semua proses anak : misalnya jika Anda menjalankan daemon mungkin tidak demikian untuk menunggu selesai :-).

catatan:

• tunggu $ {!} berarti "tunggu sampai proses latar belakang terakhir selesai" di mana $!PID dari proses latar belakang terakhir. Jadi untuk meletakkan wait ${!}setelahnya program_2 &sama dengan mengeksekusi secara langsung program_2tanpa mengirimkannya di latar belakang dengan&

• Dari bantuan wait:

  Syntax    
      wait [n ...]
  Key  
      n A process ID or a job specification
  

Terima kasih @user3258569, skrip mungkin satu-satunya hal yang berhasil busybox!

Namun, cangkangnya membeku untukku setelah itu. Mencari penyebabnya, saya menemukan peringatan merah besar ini "jangan gunakan di shell non-interaktif" di halaman manual skrip :

scriptterutama dirancang untuk sesi terminal interaktif. Ketika stdin bukan terminal (misalnya echo foo | script:), maka sesi dapat hang, karena shell interaktif dalam sesi skrip kehilangan EOF dan scripttidak memiliki petunjuk kapan harus menutup sesi. Lihat bagian CATATAN untuk informasi lebih lanjut.

Benar. script -c "make_hay" -f /dev/null | grep "needle"membekukan cangkangnya untukku.

Berlawanan dengan peringatan itu, saya pikir echo "make_hay" | scriptAKAN lulus EOF, jadi saya mencoba

echo "make_hay; exit" | script -f /dev/null | grep 'needle'

dan berhasil!

Perhatikan peringatan di halaman manual. Ini mungkin tidak berhasil untuk Anda.

alternatif untuk stdbuf adalah awk '{print} END {fflush()}' saya berharap ada bash builtin untuk melakukan ini. Biasanya itu tidak perlu, tetapi dengan versi yang lebih lama mungkin ada bug sinkronisasi bash pada deskriptor file.

Saya tidak tahu apakah itu akan berhasil, tetapi bagaimana dengan menelepon sync?

Saya mengalami masalah ini dengan proses latar belakang di Mac OS X menggunakan StartupItems. Inilah cara saya mengatasinya:

Jika saya membuatnya, sudo ps auxsaya dapat melihat bahwa mytooldiluncurkan.

Saya menemukan bahwa (karena buffering) ketika Mac OS X dimatikan mytooltidak pernah mentransfer output ke sedperintah. Namun, jika saya mengeksekusi sudo killall mytool, maka mytooltransfer hasilnya ke sedperintah. Oleh karena itu, saya menambahkan stopkasus ke StartupItemsyang dieksekusi saat Mac OS X dimatikan:

start)
    if [ -x /sw/sbin/mytool ]; then
      # run the daemon
      ConsoleMessage "Starting mytool"
      (mytool | sed .... >> myfile.txt) & 
    fi
    ;;
stop)
    ConsoleMessage "Killing mytool"
    killall mytool
    ;;

suka atau tidak, begitulah cara kerja pengalihan.

Dalam kasus Anda, output (artinya skrip Anda telah selesai) dari skrip Anda dialihkan ke file itu.

Apa yang ingin Anda lakukan adalah menambahkan pengalihan tersebut di skrip Anda.