wget -qO- 'http://www.youtube.com/watch?v=Dd7dQh8u4Hc' |
perl -l -0777 -ne 'print $1 if /<title.*?>\s*(.*?)\s*<\/title/si'
Anda dapat mengirimkannya ke GNU recodejika ada hal-hal seperti <di dalamnya:
wget -qO- 'http://www.youtube.com/watch?v=Dd7dQh8u4Hc' |
perl -l -0777 -ne 'print $1 if /<title.*?>\s*(.*?)\s*<\/title/si' |
recode html..
Untuk menghapus - youtubebagian:
wget -qO- 'http://www.youtube.com/watch?v=Dd7dQh8u4Hc' |
perl -l -0777 -ne 'print $1 if /<title.*?>\s*(.*?)(?: - youtube)?\s*<\/title/si'
Untuk menunjukkan beberapa batasan:
portabilitas
Tidak ada perintah standar / portabel untuk melakukan permintaan HTTP. Beberapa dekade yang lalu, saya akan merekomendasikan di lynx -sourcesini. Tetapi saat ini, wgetlebih portabel karena dapat ditemukan secara default pada sebagian besar sistem GNU (termasuk sebagian besar sistem operasi desktop / laptop berbasis Linux). Yang cukup portabel lainnya termasuk GETperintah yang datang dengan perllibwww yang sering diinstal lynx -source,, dan pada tingkat lebih rendah curl. Lainnya umum yang meliputi links -source, elinks -source, w3m -dump_source, lftp -c cat...
Protokol HTTP dan penanganan pengalihan
wgetmungkin tidak mendapatkan halaman yang sama dengan yang misalnya firefoxakan ditampilkan. Alasannya adalah bahwa server HTTP dapat memilih untuk mengirim halaman yang berbeda berdasarkan informasi yang disediakan dalam permintaan yang dikirim oleh klien.
Permintaan yang dikirim oleh wget / w3m / GET ... akan berbeda dari yang dikirim oleh firefox. Jika itu masalah, Anda bisa mengubah wgetperilaku untuk mengubah cara mengirimkan permintaan melalui opsi.
Yang paling penting dalam hal ini adalah:
Acceptdan Accept-language: yang memberi tahu server tempat bahasa dan rangkaian karakter yang diinginkan klien untuk mendapatkan respons. wgettidak mengirim apa pun secara default sehingga server biasanya akan mengirim dengan pengaturan default. firefoxdi sisi lain kemungkinan dikonfigurasi untuk meminta bahasa Anda.User-Agent: yang mengidentifikasi aplikasi klien ke server. Beberapa situs mengirim konten berbeda berdasarkan klien (meskipun itu sebagian besar untuk perbedaan antara interpretasi bahasa javascript) dan mungkin menolak untuk melayani Anda jika Anda menggunakan robot seperti agen pengguna wget.Cookie: jika Anda pernah mengunjungi situs ini sebelumnya, browser Anda mungkin memiliki cookie permanen untuk itu. wgettidak akan.
wgetakan mengikuti pengalihan ketika mereka dilakukan di tingkat protokol HTTP, tetapi karena tidak melihat konten halaman, bukan yang dilakukan oleh javascript atau hal-hal seperti <meta http-equiv="refresh" content="0; url=http://example.com/">.
Kinerja / Efisiensi
Di sini, karena malas, kami telah perlmembaca seluruh konten dalam memori sebelum mulai mencari <title>tag. Mengingat bahwa judul ditemukan di <head>bagian yang ada di beberapa byte pertama file, itu tidak optimal. Pendekatan yang lebih baik, jika GNU awktersedia di sistem Anda bisa:
wget -qO- 'http://www.youtube.com/watch?v=Dd7dQh8u4Hc' |
gawk -v IGNORECASE=1 -v RS='</title' 'RT{gsub(/.*<title[^>]*>/,"");print;exit}'
Dengan begitu, awk berhenti membaca setelah yang pertama </title, dan dengan keluar, menyebabkan wgetberhenti mengunduh.
Parsing HTML
Di sini, wgettulis halaman saat mengunduhnya. Pada saat yang sama perl,, slurps output ( -0777 -n) seluruh dalam memori dan kemudian cetak kode HTML yang ditemukan antara kejadian pertama <title...>dan </title.
Itu akan berfungsi untuk sebagian besar halaman HTML yang memiliki <title>tag, tetapi ada kasus di mana itu tidak akan berfungsi.
Sebaliknya , solusi coffeeMug akan mem-parsing halaman HTML sebagai XML dan mengembalikan nilai yang sesuai untuk title. Lebih tepat jika halaman dijamin XML yang valid . Namun, HTML tidak harus merupakan XML yang valid (versi bahasa yang lebih lama tidak), dan karena sebagian besar peramban di luar sana lunak dan akan menerima kode HTML yang salah, bahkan ada banyak kode HTML yang salah di luar sana.
Baik solusi saya dan coffeeMug akan gagal untuk berbagai kasus sudut, kadang-kadang sama, kadang tidak.
Misalnya, milik saya akan gagal pada:
<html><head foo="<title>"><title>blah</title></head></html>
atau:
<!-- <title>old</title> --><title>new</title>
Sementara itu akan gagal pada:
<TITLE>foo</TITLE>
(html valid, bukan xml) atau:
atau:
<title>...</title>
...
<script>a='<title>'; b='</title>';</script>
(lagi, valid html, <![CDATA[bagian yang hilang untuk menjadikannya XML yang valid).
<title>foo <<<bar>>> baz</title>
(html salah, tetapi masih ditemukan di sana dan didukung oleh sebagian besar browser)
interpretasi kode di dalam tag.
Solusi itu menampilkan teks mentah antara <title>dan </title>. Biasanya, seharusnya tidak ada tag HTML di sana, mungkin ada komentar (meskipun tidak ditangani oleh beberapa browser seperti firefox jadi sangat tidak mungkin). Mungkin masih ada beberapa penyandian HTML:
$ wget -qO- 'http://www.youtube.com/watch?v=CJDhmlMQT60' |
perl -l -0777 -ne 'print $1 if /<title.*?>\s*(.*?)\s*<\/title/si'
Wallace & Gromit - The Cheesesnatcher Part 1 (claymation) - YouTube
Yang diurus oleh GNU recode:
$ wget -qO- 'http://www.youtube.com/watch?v=CJDhmlMQT60' |
perl -l -0777 -ne 'print $1 if /<title.*?>\s*(.*?)\s*<\/title/si' |
recode html..
Wallace & Gromit - The Cheesesnatcher Part 1 (claymation) - YouTube
Tetapi klien web juga dimaksudkan untuk melakukan lebih banyak transformasi pada kode itu ketika menampilkan judul (seperti menyingkat beberapa bagian yang kosong, menghapus yang utama dan yang tertinggal). Namun tidak mungkin ada kebutuhan untuk itu. Jadi, seperti dalam kasus lain, terserah Anda memutuskan apakah itu sepadan dengan usaha.
Set karakter
Sebelum UTF-8, iso8859-1 digunakan untuk menjadi charset pilihan di web untuk karakter non-ASCII meskipun secara tegas mereka harus dituliskan sebagai é. Versi HTTP dan bahasa HTML yang lebih baru telah menambahkan kemungkinan untuk menentukan karakter yang ditetapkan dalam header HTTP atau dalam header HTML, dan klien dapat menentukan charset yang diterimanya. UTF-8 cenderung menjadi charset default saat ini.
Jadi, itu berarti bahwa di luar sana, Anda akan menemukan éditulis sebagai é, seperti é, seperti UTF-8 é, (0xc3 0xa9), seperti iso-8859-1 (0xe9), dengan untuk 2 yang terakhir, kadang-kadang informasi di charset di header HTTP atau header HTML (dalam format berbeda), terkadang tidak.
wget hanya mendapatkan byte mentah, tidak peduli tentang artinya sebagai karakter, dan tidak memberi tahu server web tentang charset yang disukai.
recode html..akan berhati-hati untuk mengubah éatau émenjadi urutan byte yang tepat untuk set karakter yang digunakan pada sistem Anda, tetapi untuk sisanya, itu lebih sulit.
Jika charset sistem Anda utf-8, kemungkinan itu akan baik-baik saja sebagian besar waktu karena cenderung menjadi charset default yang digunakan di luar sana saat ini.
$ wget -qO- 'http://www.youtube.com/watch?v=if82MGPJEEQ' |
perl -l -0777 -ne 'print $1 if /<title.*?>\s*(.*?)\s*<\/title/si'
Noir Désir - L'appartement - YouTube
Itu di éatas adalah UTF-8 é.
Tetapi jika Anda ingin menutupi untuk rangkaian karakter lain, sekali lagi, itu harus diurus.
Perlu juga dicatat bahwa solusi ini tidak akan berfungsi sama sekali untuk halaman yang disandikan UTF-16 atau UTF-32.
Untuk menyimpulkan
Idealnya, yang Anda butuhkan di sini, adalah browser web asli untuk memberi Anda informasi. Artinya, Anda perlu melakukan sesuatu untuk melakukan permintaan HTTP dengan parameter yang tepat, mengintepret respons HTTP dengan benar, sepenuhnya menafsirkan kode HTML seperti yang dilakukan browser, dan mengembalikan judul.
Karena saya tidak berpikir itu dapat dilakukan pada baris perintah dengan browser yang saya tahu (meskipun lihat sekarang trik ini denganlynx ), Anda harus menggunakan heuristik dan perkiraan, dan yang di atas sama baiknya dengan yang ada.
Anda mungkin juga ingin mempertimbangkan kinerja, keamanan ... Misalnya, untuk mencakup semua kasus (misalnya, halaman web yang memiliki beberapa javascript yang ditarik dari situs pihak ke-3 yang menetapkan judul atau mengalihkan ke halaman lain dalam suatu onload hook), Anda mungkin harus mengimplementasikan browser kehidupan nyata dengan mesin dom dan javascript yang mungkin harus melakukan ratusan pertanyaan untuk satu halaman HTML, beberapa di antaranya mencoba untuk mengeksploitasi kerentanan ...
Meskipun menggunakan regexps untuk mem-parsing HTML sering disukai , berikut ini adalah kasus khas di mana itu cukup baik untuk tugas (IMO).