Jalankan perintah sekali per baris input pipa?

Saya ingin menjalankan perintah java sekali untuk setiap pertandingan ls | grep pattern -. Dalam hal ini, saya pikir saya bisa melakukannya find pattern -exec java MyProg '{}' \;tetapi saya ingin tahu tentang kasus umum - apakah ada cara mudah untuk mengatakan "jalankan perintah sekali untuk setiap baris input standar"? (Dalam ikan atau bash.)

Itu yang xargsdilakukannya.

... | xargs command

Jawaban yang diterima memiliki ide yang tepat, tetapi kuncinya adalah untuk lulus xargsdengan -n1switch, yang berarti "Jalankan perintah sekali per baris output:"

cat file... | xargs -n1 command

Atau, untuk file input tunggal Anda dapat menghindari pipa dari catseluruhnya dan hanya pergi dengan:

<file xargs -n1 command

Di Bash atau shell Bourne-style lainnya (abu, ksh, zsh, ...):

while read -r line; do command "$line"; done

read -rmembaca satu baris dari input standar ( readtanpa -rmenginterpretasikan garis miring terbalik, Anda tidak menginginkannya). Dengan demikian Anda dapat melakukan salah satu dari yang berikut:

$ command | while read -r line; do command "$line"; done  

$ while read -r line; do command "$line"; done <file

Saya setuju dengan Keith, xargs adalah alat paling umum untuk pekerjaan itu.

Saya biasanya menggunakan pendekatan 3 langkah.

• lakukan hal-hal dasar sampai Anda memiliki sesuatu yang ingin Anda kerjakan
• siapkan baris dengan awk sehingga mendapat sintaks yang benar
• lalu biarkan xargs menjalankannya, mungkin dengan bantuan bash.

Ada cara yang lebih kecil dan lebih cepat, tetapi cara ini hampir selalu berhasil.

Contoh sederhana:

ls | 
grep xls | 
awk '{print "MyJavaProg --arg1 42 --arg2 "$1"\0"}' | 
xargs -0 bash -c

2 baris pertama memilih beberapa file untuk dikerjakan, kemudian awk menyiapkan string yang bagus dengan perintah untuk dieksekusi dan beberapa argumen dan $ 1 adalah input kolom pertama dari pipa. Dan akhirnya saya memastikan bahwa xargs mengirimkan string ini ke bash yang baru saja menjalankannya.

Ini sedikit berlebihan, tetapi resep ini telah membantu saya di banyak tempat karena sangat fleksibel.

GNU Parallel dibuat untuk tugas semacam itu. Penggunaan paling sederhana adalah:

cat stuff | grep pattern | parallel java MyProg

Tonton video intro untuk mempelajari lebih lanjut: http://www.youtube.com/watch?v=OpaiGYxkSuQ

Juga, while readloop dalam cangkang ikan (saya berasumsi Anda ingin cangkang ikan, mengingat Anda menggunakan tag ikan ).

command | while read line
    command $line
end

Beberapa poin yang perlu diperhatikan.

• readtidak mengambil -rargumen, dan itu tidak menafsirkan backslash Anda, untuk membuat use case paling umum mudah.
• Anda tidak perlu mengutip $line, karena tidak seperti bash, ikan tidak memisahkan variabel dengan spasi.
• commanddengan sendirinya adalah kesalahan sintaks (untuk menangkap penggunaan argumen placeholder seperti itu). Ganti dengan perintah asli.

Jika Anda perlu mengontrol di mana tepatnya argumen input dimasukkan ke dalam baris perintah Anda atau jika Anda perlu mengulanginya beberapa kali maka Anda perlu menggunakannya xargs -I{}.

Buat struktur folder kosong di another_folderyang mencerminkan subfolder di direktori saat ini:

    ls -1d ./*/ | xargs -I{} mkdir another_folder/{}

Terapkan operasi pada daftar file yang berasal dari stdin, dalam hal ini buat salinan dari setiap .htmlfile dengan menambahkan .bakekstensi:

    find . -iname "*.html" | xargs -I{} cp {} {}.bak

Dari xargshalaman manual untuk MacOS / BSD :

 -I replstr
         Execute utility for each input line, replacing one or more occurrences of
         replstr in up to replacements (or 5 if no -R flag is specified) arguments
         to utility with the entire line of input.  The resulting arguments, after
         replacement is done, will not be allowed to grow beyond 255 bytes; this is
         implemented by concatenating as much of the argument containing replstr as
         possible, to the constructed arguments to utility, up to 255 bytes.  The
         255 byte limit does not apply to arguments to utility which do not contain
         replstr, and furthermore, no replacement will be done on utility itself.
         Implies -x.

xargsHalaman manual Linux :

   -I replace-str
          Replace  occurrences of replace-str in the initial-
          arguments with names read from standard input.  Al‐
          so,  unquoted  blanks do not terminate input items;
          instead the separator  is  the  newline  character.
          Implies -x and -L 1.

Ketika berhadapan dengan input yang berpotensi tidak bersih, saya suka melihat seluruh pekerjaan 'terbilang' baris demi baris untuk inspeksi visual sebelum saya menjalankannya (terutama ketika sesuatu yang merusak seperti membersihkan kotak surat orang).

Jadi yang saya lakukan adalah membuat daftar parameter (mis. Nama pengguna), memasukkannya ke file dengan mode satu-catatan-per-baris, seperti ini:

johndoe  
jamessmith  
janebrown  

Lalu saya membuka daftar vim, dan memotong-motongnya dengan mencari dan mengganti ekspresi sampai saya mendapatkan daftar perintah lengkap yang perlu dijalankan, seperti ini:

/bin/rm -fr /home/johndoe  
/bin/rm -fr /home/jamessmith 

Dengan cara ini jika regex Anda tidak lengkap, Anda akan melihat perintah apa yang akan memiliki masalah potensial (mis. /bin/rm -fr johnnyo connor). Dengan cara ini Anda dapat membatalkan regex Anda, dan coba lagi dengan versi yang lebih andal. Nama mangling terkenal karena hal ini, karena sulit untuk mengurus semua kasus tepi seperti Van Gogh, O'Connors, St. Clair, Smith-Wesson.

Memiliki set hlsearchberguna untuk melakukan ini vim, karena akan menyoroti semua pertandingan, sehingga Anda dapat dengan mudah melihat jika tidak cocok, atau cocok dengan cara yang tidak disengaja.

Setelah regex Anda sempurna dan menangkap semua case yang dapat Anda uji / pikirkan, maka saya biasanya mengonversinya menjadi ekspresi sed sehingga dapat sepenuhnya otomatis untuk dijalankan lagi.

Untuk kasus di mana jumlah baris input mencegah Anda melakukan inspeksi visual, saya sangat merekomendasikan untuk mengulangi perintah ke layar (atau lebih baik, log) sebelum dieksekusi, jadi jika kesalahan keluar, Anda tahu persis perintah yang menyebabkan itu gagal. Kemudian Anda dapat kembali ke regex asli dan menyesuaikannya sekali lagi.

Jika suatu program mengabaikan pipa tetapi menerima file sebagai argumen, maka Anda bisa mengarahkannya ke file khusus /dev/stdin.

Saya tidak terbiasa dengan java, tapi di sini adalah contoh bagaimana Anda akan melakukannya untuk bash:

$ echo $'pwd \n cd / \n pwd' |bash /dev/stdin
/home/rolf
/

$ Diperlukan untuk bash menerjemahkan \nke dalam baris baru. Saya tidak yakin mengapa.

Saya lebih suka ini - memungkinkan perintah multi-line dan menghapus kode

find -type f -name filenam-pattern* | while read -r F
do
  echo $F
  cat $F | grep 'some text'
done

ref https://stackoverflow.com/a/3891678/248616

Di sini, copypaste Anda dapat langsung digunakan:

cat list.txt | xargs -I{} command parameter {} parameter

Item dari daftar akan diletakkan di tempat {} berada dan seluruh perintah dan parameter akan digunakan apa adanya.