Stroustrup baru-baru ini memposting serangkaian postingan yang menghilangkan mitos populer tentang C ++ . Mitos kelima adalah: "C ++ hanya untuk program yang besar, rumit,". Untuk menghilangkan prasangka itu, ia menulis sebuah program C ++ sederhana yang mengunduh halaman web dan mengekstraksi tautan darinya . Ini dia:

#include <string>
#include <set>
#include <iostream>
#include <sstream>
#include <regex>
#include <boost/asio.hpp>

using namespace std;

set<string> get_strings(istream& is, regex pat)
{
    set<string> res;
    smatch m;
    for (string s; getline(is, s);)  // read a line
        if (regex_search(s, m, pat))
            res.insert(m[0]);              // save match in set
    return res;
}

void connect_to_file(iostream& s, const string& server, const string& file)
// open a connection to server and open an attach file to s
// skip headers
{
    if (!s)
        throw runtime_error{ "can't connect\n" };

    // Request to read the file from the server:
    s << "GET " << "http://" + server + "/" + file << " HTTP/1.0\r\n";
    s << "Host: " << server << "\r\n";
    s << "Accept: */*\r\n";
    s << "Connection: close\r\n\r\n";

    // Check that the response is OK:
    string http_version;
    unsigned int status_code;
    s >> http_version >> status_code;

    string status_message;
    getline(s, status_message);
    if (!s || http_version.substr(0, 5) != "HTTP/")
        throw runtime_error{ "Invalid response\n" };

    if (status_code != 200)
        throw runtime_error{ "Response returned with status code" };

    // Discard the response headers, which are terminated by a blank line:
    string header;
    while (getline(s, header) && header != "\r")
        ;
}

int main()
{
    try {
        string server = "www.stroustrup.com";
        boost::asio::ip::tcp::iostream s{ server, "http" };  // make a connection
        connect_to_file(s, server, "C++.html");    // check and open file

        regex pat{ R"((http://)?www([./#\+-]\w*)+)" }; // URL
        for (auto x : get_strings(s, pat))    // look for URLs
            cout << x << '\n';
    }
    catch (std::exception& e) {
        std::cout << "Exception: " << e.what() << "\n";
        return 1;
    }
}

Mari kita tunjukkan pada Stroustrup apa program kecil dan mudah dibaca itu sebenarnya.

1. Unduh http://www.stroustrup.com/C++.html

2. Daftar semua tautan:

   http://www-h.eng.cam.ac.uk/help/tpl/languages/C++.html
   http://www.accu.org
   http://www.artima.co/cppsource
   http://www.boost.org
   ...
   

Anda dapat menggunakan bahasa apa pun, tetapi tidak ada perpustakaan pihak ketiga yang diizinkan.

Pemenang

Jawaban C ++ dimenangkan oleh suara, tetapi bergantung pada pustaka pihak ketiga (yang tidak diizinkan oleh aturan), dan, bersama dengan pesaing dekat lainnya Bash , bergantung pada klien HTTP yang diretas bersama (tidak akan bekerja dengan HTTPS, gzip, arahan ulang dll). Jadi Wolfram adalah pemenang yang jelas. Solusi lain yang mendekati dalam hal ukuran dan keterbacaan adalah PowerShell (dengan peningkatan dari komentar), tetapi belum mendapat banyak perhatian. Bahasa arus utama ( Python , C # ) juga cukup dekat.

Wolfram

Ini terasa seperti selingkuh total

Import["http://www.stroustrup.com/C++.html", "Hyperlinks"]

Jadi, tambahkan saja penguraian jujur ​​di atas

Cases[
 Import["http://www.stroustrup.com/C++.html", "XMLObject"],
 XMLElement["a", {___, "href" -> link_, ___}, ___] :> 
  link /; StringMatchQ[link, RegularExpression["((http://)?www([./#\\+-]\\w*)+)"]]
, Infinity]

C ++

#include <boost/asio.hpp>
#include <regex>
#include <iostream>
int main() {
    std::string server = "www.stroustrup.com";
    std::string request = "GET http://" + server + "/C++.html HTTP/1.0\r\nHost: " + server + "\r\n\r\n";
    boost::asio::ip::tcp::iostream s{server, "http"};
    s << request;
    std::regex pat{R"((http://)?www([./#\+-]\w*)+)"};
    std::smatch m;
    for (std::string l; getline(s, l);)
        if (std::regex_search(l, m, pat))
            std::cout << m[0] << "\n";
}

Kelemahan utama adalah sifat canggung boost :: asio, saya yakin bisa lebih pendek dengan perpustakaan yang lebih baik.

Pure Bash di Linux / OS X (tidak ada utilitas eksternal)

Perangkat lunak klien HTTP terkenal membengkak. Kami tidak menginginkan ketergantungan seperti itu. Sebagai gantinya, kami dapat menekan tajuk yang sesuai ke aliran TCP dan membaca hasilnya. Tidak perlu memanggil utilitas kuno seperti grep atau sed untuk menguraikan hasilnya.

domain="www.stroustrup.com"
path="C++.html"
exec 3<> /dev/tcp/$domain/80
printf "GET /$path HTTP/1.1\r\nhost: %s\r\nConnection: close\r\n\r\n" "$domain" >&3
while read -u3; do
    if [[ "$REPLY" =~ http://[^\"]* ]]; then
        printf '%s\n' "$BASH_REMATCH"
    fi
done

Meh - Saya kira itu bisa lebih mudah dibaca ...

Python 2

import urllib2 as u, re
s = "http://www.stroustrup.com/C++.html"
w = u.urlopen(s)
h = w.read()
l = re.findall('"((http)s?://.*?)"', h)
print l

Lumpuh, tapi berhasil

C #

using System;
using System.Net;
using System.Text.RegularExpressions;

class Program {
    static void Main() {
        string html = new WebClient().DownloadString("http://www.stroustrup.com/C++.html");
        foreach (Match match in Regex.Matches(html, @"https?://[^""]+"))
            Console.WriteLine(match);
    }
}

"Tidak ada pihak ketiga" adalah kekeliruan

Saya pikir asumsi "tidak ada pihak ketiga" adalah kesalahan. Dan merupakan kesalahan spesifik yang menimpa pengembang C ++, karena sangat sulit untuk membuat kode yang dapat digunakan kembali dalam C ++. Ketika Anda sedang mengembangkan apa pun, bahkan jika itu adalah skrip kecil, Anda akan selalu memanfaatkan potongan kode apa pun yang dapat digunakan kembali yang tersedia untuk Anda.

Masalahnya adalah, dalam bahasa seperti Perl, Python, Ruby (untuk beberapa nama), menggunakan kembali kode orang lain tidak hanya mudah, tetapi itu adalah bagaimana kebanyakan orang benar-benar menulis kode sebagian besar waktu.

C ++, dengan hampir tidak mungkin untuk mempertahankan yang kompatibel-ABI-persyaratan membuat pekerjaan yang lebih sulit, Anda berakhir dengan proyek seperti Boost, yang merupakan repositori kode yang mengerikan dan sangat sedikit kompabilitas di luarnya.

Contoh CPAN

Hanya untuk bersenang-senang, ini contoh berbasis CPAN, dengan penguraian html yang tepat, alih-alih mencoba menggunakan regex untuk mengurai html

#!/usr/bin/perl
use HTML::LinkExtor;
sub callback {
   my ($tag, %links) = @_;
   print map { "$_\n" } values %links
}
$p = HTML::LinkExtor->new(\&callback, "http://www.stroustrup.com/C++.html");

UNIX shell

lynx -dump http://www.stroustrup.com/C++.html | grep -o '\w*://.*'

Juga menemukan ftp://tautan :)

Cara lain, tanpa mengandalkan ://sintaks:

lynx -dump -listonly http://www.stroustrup.com/C++.html | sed -n 's/^[ 0-9.]\+//p'

CSS 3

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
}
a {
  content: "";
}
a[href*="://"]::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}

Kode ini dapat digunakan sebagai gaya pengguna untuk hanya menampilkan tautan absolut pada halaman dalam daftar yang tidak diformat. Ini mungkin tidak berfungsi dengan benar jika browser Anda memberlakukan ukuran font minimum.

Ini berfungsi dengan baik http://www.stroustrup.com/C++.html(catatan !importantaktif background). Agar dapat bekerja di halaman lain dengan gaya yang lebih banyak, itu harus diperluas (reset lebih banyak properti, tandai properti sebagai penting, dll.).

Versi alternatif yang mencakup tautan relatif kecuali tautan intrapage dimulai dengan hash (sayangnya, ini bergantung pada tautan absolut yang dikodekan dengan keras):

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
  float: none !important;
  width: auto !important;
  border: none !important;
}
a {
  content: "";
}
a::after {
  display: none;
}
a:not([href^="#"])::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}
a:not([href*="://"])::after {
  content: "http://www.stroustrup.com/" attr(href);
}

Clojure

(->> (slurp "http://www.stroustrup.com")
     (re-seq #"(?:http://)?www(?:[./#\+-]\w*)+"))

Emacs Lisp

(with-current-buffer (url-retrieve-synchronously "http://www.stroustrup.com/C++.html")
  (while (re-search-forward "https?://[^\\\"]*")
    (print (match-string 0))))

Scala

"""\"(https?://.*?)\"""".r.findAllIn(scala.io.Source.fromURL("http://www.stroustrup.com/C++.html").mkString).foreach(println)

PHP 5

<?php
preg_match_all('/"(https?:\/\/.*?)"/',file_get_contents('http://www.stroustrup.com/C++.html'),$m);
print_r($m[1]);

PowerShell

Pencarian teks untuk semua URL yang sepenuhnya memenuhi syarat (termasuk JavaScript, CSS, dll.):

[string[]][regex]::Matches((iwr "http://www.stroustrup.com/C++.html"), '\w+://[^"]+')

Atau untuk mendapatkan tautan di tag jangkar saja (termasuk URL relatif):

(iwr "http://www.stroustrup.com/C++.html").Links | %{ $_.href }

Versi lebih pendek dari komentar:

(iwr "http://www.stroustrup.com/C++.html").Links.href

(iwr "http://www.stroustrup.com/C++.html").Links.href-match":"

D

import std.net.curl, std.stdio;
import std.algorithm, std.regex;

void main() {
foreach(_;byLine("http://www.stroustrup.com/C++.html")
    .map!((a)=>a.matchAll(regex(`<a.*?href="(.*)"`)))
    .filter!("a")){ writeln(_.front[1]); }
}

Node.js

var http = require('http');

http.get('http://www.stroustrup.com/C++.html', function (res) {
    var data = '';
    res.on('data', function (d) {
        data += d;
    }).on('end', function () {
        console.log(data.match(/"https?:\/\/.*?"/g));
    }).setEncoding('utf8');
});

Rubi

require 'net/http'
result = Net::HTTP.get(URI.parse('http://www.stroustrup.com/C++.html'))
result.scan(/"((http)s?://.*?)"/)

Haskell

Beberapa masalah dengan "\w"di Text.Regex.Posix

import Network.HTTP
import Text.Regex.Posix
pattern = "((http://)?www([./#\\+-][a-zA-Z]*)+)"
site = "http://www.stroustrup.com/C++.html"

main = do
    file <- getResponseBody =<< simpleHTTP (getRequest site)
    let result = getAllTextMatches $ file =~ pattern
    putStr $ unlines result -- looks nicer

PHP

Sejauh yang saya tahu, sebagian besar instalasi PHP modern datang dengan pemrosesan DOM, jadi inilah salah satu yang sebenarnya melintasi jangkar di dalam HTML:

foreach (@DOMDocument::loadHTMLFile('http://stroustrup.com/C++.html')->getElementsByTagName('a') as $a) {
    if (in_array(parse_url($url = $a->getAttribute('href'), PHP_URL_SCHEME), ['http', 'https'], true)) {
        echo $url, PHP_EOL;
    }
}

Lingkaran dalam dapat disingkat menjadi:

preg_match('~^https?://~', $url = $a->getAttribute('href')) && printf("%s\n", $url);

Unix Shell

wget -q -O - http://www.stroustrup.com/C++.html | sed -n '/http:/s/.*href="\([^"]*\)".*/\1/p' | sort

Meskipun saya harus mengakui ini tidak berfungsi jika ada lebih dari satu tautan pada satu baris.

Jawa

import java.util.regex.*;
class M{
    public static void main(String[]v)throws Throwable{
        Matcher m = Pattern.compile( "\"((http)s?://.*?)\"" )
            .matcher(
                 new Scanner(
                         new URL( "http://www.stroustrup.com/C++.html" )
                             .openStream(),
                         "UTF-8")
                     .useDelimiter("\\A")
                     .next());
        while(m.find())
            System.out.println(m.group());
    }
}

Asyik

"http://www.stroustrup.com/C++.html".toURL().text.findAll(/https?:\/\/[^"]+/).each{println it}

SQL (SQL Anywhere 16)

Tetapkan prosedur tersimpan untuk mengambil halaman web

CREATE OR REPLACE PROCEDURE CPPWebPage()
URL 'http://www.stroustrup.com/C++.html'
TYPE 'HTTP';

Menghasilkan set hasil menggunakan satu permintaan

SELECT REGEXP_SUBSTR(Value,'"https?://[^""]+"',1,row_num) AS Link  
FROM (SELECT Value FROM CPPWebPage() WITH (Attribute LONG VARCHAR, Value LONG VARCHAR) 
      WHERE Attribute = 'Body') WebPage, 
      sa_rowgenerator( 1, 256 ) 
WHERE Link IS NOT NULL;

Keterbatasan: Ini menghasilkan hingga 256 tautan. Jika ada lebih banyak tautan, maka tambah 256 ke nilai yang sesuai.

CoffeeScript / NodeJS

require('http').get 'http://www.stroustrup.com/C++.html', (r) ->
    dt = '';
    r.on 'data', (d) -> dt += d
    r.on 'end' , (d) -> console.log dt.match /"((http)s?:\/\/.*?)"/g

Perl

use LWP;
use feature 'say';

my $agent = new LWP::UserAgent();
my $response = $agent->get('http://www.stroustrup.com/C++.html');

say for $response->content =~ m<"(https?://.+?)">g;

R

html<-paste(readLines("http://www.stroustrup.com/C++.html"),collapse="\n")
regmatches(html,gregexpr("http[^([:blank:]|\\\"|<|&|#\n\r)]+",html))

... walaupun R ditulis terutama dalam C ... jadi mungkin beberapa baris kode C di belakang 2 baris kode R itu.

Objektif-C

NSString *s;
for (id m in [[NSRegularExpression regularExpressionWithPattern:@"\"((http)s?://.*?)\"" options:0 error:nil] matchesInString:(s=[NSString stringWithContentsOfURL:[NSURL URLWithString:@"http://www.stroustrup.com/C++.html"]])]){
    NSLog(@"%@",[s substringWithRange:[m range]]);
}

Tcl

package require http
set html [http::data [http::geturl http://www.stroustrup.com/C++.html]]
puts [join [regexp -inline -all {(?:http://)?www(?:[./#\+-]\w*)+} $html] \n]

Pergi

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "os"
    "regexp"
)

func main() {
    resp, err := http.Get("http://www.stroustrup.com/C++.html")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        os.Exit(1)
    }
    defer resp.Body.Close()
    data, _ := ioutil.ReadAll(resp.Body)
    results := regexp.MustCompile(`https?://[^""]+`).FindAll(data, -1)
    for _, row := range results {
        fmt.Println(string(row))
    }
}

PS kode ini membaca seluruh sumber ke dalam memori, jadi coba gunakan regexp.FindReaderIndexuntuk mencari dalam aliran, yang akan membuat aplikasi antipeluru.

CJam

CJam tidak memiliki regex jadi saya harus menggunakan pendekatan yang berbeda dalam hal ini:

"http://www.stroustrup.com/C++.html"g''/'"*'"/(;2%{_"http://"#!\"https://"#!e|},N*

Saya pertama-tama mengonversi semua 'menjadi ", lalu saya membagi semua ", mengambil setiap string alternatif dan akhirnya memfilter daftar itu untuk string yang dimulai dengan http://atau https://. Setelah itu, cukup cetak setiap string yang difilter pada baris baru.

Cobalah menggunakan juru bahasa Java seperti

java -jar cjam-0.6.2.jar file.cjam

di mana file.cjam memiliki isi kode di atas.

F #

Kode ini bisa jadi jauh lebih pendek tetapi saya akan menulis sesuatu seperti ini jika saya pernah berharap harus membaca atau menggunakan kode ini lagi sehingga memiliki banyak anotasi jenis yang tidak perlu. Ini menunjukkan penggunaan pola aktif matchValue untuk memungkinkan pencocokan pola terhadap tipe standar CLR Pertandingan

open System.Net

let (|MatchValue|) (reMatch: Match) : string = reMatch.Value

let getHtml (uri : string) : string = 
    use webClient = WebClient() in
        let html : string = webClient.DownloadString(uri)
        html

let getLinks (uri : string) : string list =
    let html : string = getHtml uri
    let matches : MatchCollection = Regex.Matches(html, @"https?://[^""]+") 
    let links = [ for MatchValue reMatch in matches do yield reMatch ]
    links

let links = getLinks "http://www.stroustrup.com/C++.html" 
for link in links do
    Console.WriteLine(link)

Sunting Saya menjadikan getLinks fungsinya sendiri