Apakah ada alat yang menggabungkan zcat dan cat secara transparan?

Saat menangani file log, beberapa berakhir sebagai file gzip terima kasih logrotatedan yang lainnya tidak. Jadi ketika Anda mencoba sesuatu seperti ini:

$ zcat *

Anda berakhir dengan baris perintah seperti zcat xyz.log xyz.log.1 xyz.log.2.gz xyz.log.3.gzdan kemudian dengan:

gzip: xyz.log: not in gzip format

Apakah ada alat yang akan mengambil byte ajaib, mirip dengan cara filekerjanya, dan menggunakan zcatatau cattergantung pada hasilnya sehingga saya dapat menyalurkan output ke grepmisalnya?

NB: Saya tahu saya bisa skrip itu, tapi saya bertanya apakah sudah ada alat di sana.

zless

Sayang sekali zcat, karena libz memiliki API yang mendukung pembacaan dari file terkompresi dan tidak terkompresi secara transparan. Tetapi halaman manual mengatakan bahwa zcatitu setara dengan gunzip -c.

Cobalah dengan -fatau --force:

zcat -f -- *

Karena zcathanya skrip sederhana yang berjalan

exec gzip -cd "$@"

dengan opsi panjang yang akan diterjemahkan

exec gzip --stdout --decompress "$@"

dan, sesuai dengan man gzip(menekankan milikku):

-f - Angkatan
      Paksa kompresi atau dekompresi bahkan jika file memiliki banyak tautan
      atau file yang sesuai sudah ada, atau jika data yang dikompresi adalah
      membaca dari atau ditulis ke terminal. Jika input data tidak dalam format
      dikenali oleh gzip, dan jika opsi --stdout juga diberikan, salin
      input data tanpa perubahan ke output standar: biarkan zcat berperilaku seperti kucing .

Juga:

sehingga saya bisa menyalurkan output ke grepmisalnya

Anda bisa menggunakannya zgrepuntuk itu:

zgrep -- PATTERN *

namun lihat komentar Stéphane di bawah ini.

Saya menggunakan tepat untuk tujuan yang sama:

{ cat /var/log/messages ; zcat /var/log/messages*.gz ; }| grep something | grep "something else" ....

Ada pengganti drop-in untuk ztools (zcat, zgrep, ..) yang disebut zutils yang menyatukan semua alat dekompresi secara independen dari backend. Jadi dengan perintah yang sama Anda dapat membaca file polos, lzma, gzip, xz secara transparan.

Ini tersedia dalam debian wheezy atau yang lebih baru, mungkin dalam redhat / centos juga.

Halaman proyek ada di sini nongnu.org

Posting blog yang menjelaskan penggunaan utilitas di sini ( noone.org )

Ini berfungsi dengan baik di RHEL 5.x di mana zcat adalah biner. Gagal di RHEL 6.x (dan Ubuntu 12.x) di mana zcat adalah skrip. Ini digunakan untuk bekerja dengan baik.

Saya tidak akan menggunakan zcat sama sekali tetapi zgrep tidak akan menangani file yang tidak terkompresi dengan baik.

Membuka kompresi dan non-kompresi, dalam urutan kronologis.

ls -v syslog* | tac | xargs zcat -f | less

Bagaimana dengan pembungkus?

$ cat xcat.sh 
#!/bin/bash

for i in $@;do 
        [ ! -z "$(file -i $i | grep "gzip")" ] && zcat $i || cat $i
done

$ bash xcat.sh plain.txt gzipped_text.gz

Salin dan tempel (atau letakkan di akhir ~/.bashrcfile Anda ) fungsi bash ini :

logs() { zcat -f $(ls -rv "$1"*) | less; }

Sekarang Anda dapat mengetik misalnya logs /var/log/syslogatau logs /var/log/nginx/access.loguntuk melihat semua yang syslog atau nginx pesan log dari yang terlama ke terbaru dengan kurang .

Anda kemudian dapat mencari sesuatu yang diketik /somethingdan dipukul nuntuk selanjutnya .

Ada skrip perl yang indah tepat melakukan ini. Ini logresolvemerge.pl dari proyek awstats: http://www.awstats.org/docs/awstats_tools.html

Logresolvemerge memungkinkan Anda untuk mendapatkan satu file log keluaran unik, diurutkan pada tanggal, dibangun dari sumber-sumber tertentu:

Berdasarkan jawaban @ Ryan, yang berikut ini akan mendapatkan semua file yang 'digulung' diurutkan sesuai abjad, lalu dapatkan file saat ini, hapus kompresinya, jika diperlukan, dan lessmereka:

cat <(ls mylog.log-* | sort) <(ls mylog.log) | xargs zcat -f | less

atau jika Anda ingin mendapatkan semuanya sebagai aliran berkelanjutan, Anda dapat tailmelakukannya, dan secara opsional mengirimkannya ke proses lain

cat <(ls mylog.log-* | sort | xargs zcat -f) <(tail -f -n +0 mylog.log)

Saya harus mencatat bahwa ini dirancang untuk log yang diputar setiap hari dengan tanggal yang ditambahkan ke akhir file. Jika log Anda kami format yang berbeda, Anda harus memodifikasi bagian pertama dari catpernyataan untuk mengakomodasi.