Teks di antara dua tag

Saya ingin mengambil apa pun di antara kedua tag ini - <tr> </tr>- dari dokumen html. Sekarang saya tidak memiliki persyaratan html spesifik yang akan menjamin untuk parser html. Saya hanya butuh sesuatu yang cocok <tr>dan </tr>dan mendapatkan semua di antaranya dan mungkin ada banyak tr. Saya mencoba awk, yang berhasil, tetapi untuk beberapa alasan akhirnya memberi saya duplikat dari setiap baris yang diekstraksi.

awk '
/<TR/{p=1; s=$0}
p && /<\/TR>/{print $0 FS s; s=""; p=0}
p' htmlfile> newfile

Bagaimana caranya?

Jika Anda hanya ingin ...semua <tr>...</tr>lakukan:

grep -o '<tr>.*</tr>' HTMLFILE | sed 's/\(<tr>\|<\/tr>\)//g' > NEWFILE

Untuk multiline, lakukan:

tr "\n" "|" < HTMLFILE | grep -o '<tr>.*</tr>' | sed 's/\(<tr>\|<\/tr>\)//g;s/|/\n/g' > NEWFILE

Periksa dulu HTMLFILE dari char "|" (tidak biasa, tapi mungkin) dan jika ada, ubah ke yang tidak ada.

Anda memang memiliki persyaratan yang menjamin pengurai HTML: Anda harus menguraikan HTML. HTML Perl :: TreeBuilder , BeautifulSoup Python dan lainnya mudah digunakan, lebih mudah daripada menulis ekspresi reguler yang kompleks dan rapuh.

perl -MHTML::TreeBuilder -le '
    $html = HTML::TreeBuilder->new_from_file($ARGV[0]) or die $!;
    foreach ($html->look_down(_tag => "tr")) {
        print map {$_->as_HTML()} $_->content_list();
    }
' input.html

atau

python -c 'if True:
    import sys, BeautifulSoup
    html = BeautifulSoup.BeautifulSoup(open(sys.argv[1]).read())
    for tr in html.findAll("tr"):
        print "".join(tr.contents)
' input.html

seddan awktidak cocok untuk tugas ini, Anda sebaiknya menggunakan parser html yang tepat. Misalnya hxselectdari w3.org:

<htmlfile hxselect -s '\n' -c 'tr'

Jika rubytersedia, Anda dapat melakukan hal berikut

ruby -e 'puts readlines.join[/(?<=<tr>).+(?=<\/tr>)/m].gsub(/<\/?tr>/, "")' file

di mana filefile input html Anda. Perintah mengeksekusi Ruby satu-liner. Pertama, ia membaca semua baris dari filedan bergabung dengan mereka ke string readlines.join,. Kemudian, dari string ia memilih apa pun di antara (tetapi tidak termasuk) <tr>dan <\/tr>itu adalah satu karakter atau lebih lama terlepas dari baris baru [/(?<=<tr>).+(?=<\/tr>)/m],. Kemudian, itu menghapus salah satu <tr>atau </tr>dari string, gsub(/<\/?tr>/, "")(ini diperlukan untuk menangani trtag bersarang ). Akhirnya, ia mencetak string puts,.

Anda mengatakan bahwa parser html tidak dijamin untuk Anda tetapi sangat mudah untuk menggunakan Nokogiri dengan rubydan itu membuat perintah lebih sederhana.

ruby -rnokogiri -e 'puts Nokogiri::HTML(readlines.join).xpath("//tr").map { |e| e.content }' file

-rnokogirimemuat Nokogiri. Nokogiri::HTML(readlines.join)membaca semua baris file. xpath("//tr")mengambil setiap trelemen dan map { |e| e.content }memilih konten untuk setiap elemen, yaitu apa yang ada di antara <tr>dan </tr>.

grep

Untuk mengambil konten di dalam trtag di beberapa baris, sampaikan xargsdulu, misalnya:

curl -sL https://www.iana.org/ | xargs | egrep -o "<tr>.*?</tr>"

Untuk hanya mengembalikan HTML bagian dalam, gunakan:

curl -sL https://www.iana.org/ | xargs | grep -Po "<tr>\K(.*?)</tr>" | sed "s/..tr.//g"

^{Periksa sintaks untuk perlrepola yang diperluas .}

^{Catatan: Untuk kinerja yang lebih cepat, Anda dapat mempertimbangkan ripgrepyang memiliki sintaksis yang serupa.}

pup

Contoh menggunakan pup(yang menggunakan pemilih CSS ):

pup -f myfile.html tr

Untuk mencetak hanya teks tanpa tag, gunakan: pup -f myfile.html tr text{}.

Berikut adalah beberapa contoh dengan curl:

curl -sL https://www.iana.org/ | pup tr text{}
pup -f <(curl -sL https://www.iana.org/) tr text{}

xpup

Contoh menggunakan xpupuntuk parsing HTML / XML (yang mendukung XPath):

xpup -f myfile.html "//tr"

jika ini hanya daftar singkat dari <tr>ini, ini bisa membantu:

perl -ne 'print if /<tr>/../</tr>/' your.html > TRs.log

tepuk tangan