Beberapa fakta:
Google menawarkan API layanan web penelusuran publik yang mengembalikan JSON : http://ajax.googleapis.com/ajax/services/search/web . Dokumentasi di sini
Java menawarkan java.net.URLdan java.net.URLConnectionuntuk mengaktifkan serta menangani permintaan HTTP.
JSON di Java dapat diubah menjadi objek Javabean yang layak menggunakan sembarang Java JSON API. Salah satu yang terbaik adalah Google Gson .
Sekarang lakukan perhitungannya:
public static void main(String[] args) throws Exception {
String google = "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=";
String search = "stackoverflow";
String charset = "UTF-8";
URL url = new URL(google + URLEncoder.encode(search, charset));
Reader reader = new InputStreamReader(url.openStream(), charset);
GoogleResults results = new Gson().fromJson(reader, GoogleResults.class);
// Show title and URL of 1st result.
System.out.println(results.getResponseData().getResults().get(0).getTitle());
System.out.println(results.getResponseData().getResults().get(0).getUrl());
}
Dengan kelas Javabean ini mewakili data JSON paling penting yang dikembalikan oleh Google (sebenarnya ini mengembalikan lebih banyak data, tetapi terserah Anda sebagai latihan untuk memperluas kode Javabean ini sesuai):
public class GoogleResults {
private ResponseData responseData;
public ResponseData getResponseData() { return responseData; }
public void setResponseData(ResponseData responseData) { this.responseData = responseData; }
public String toString() { return "ResponseData[" + responseData + "]"; }
static class ResponseData {
private List<Result> results;
public List<Result> getResults() { return results; }
public void setResults(List<Result> results) { this.results = results; }
public String toString() { return "Results[" + results + "]"; }
}
static class Result {
private String url;
private String title;
public String getUrl() { return url; }
public String getTitle() { return title; }
public void setUrl(String url) { this.url = url; }
public void setTitle(String title) { this.title = title; }
public String toString() { return "Result[url:" + url +",title:" + title + "]"; }
}
}
Lihat juga:
Pembaruan sejak November 2010 (2 bulan setelah jawaban di atas), layanan web penelusuran publik sudah tidak digunakan lagi (dan hari terakhir layanan ditawarkan adalah 29 September 2014). Taruhan terbaik Anda sekarang adalah menanyakan http://www.google.com/search secara langsung bersama dengan agen pengguna yang jujur dan kemudian mengurai hasilnya menggunakan pengurai HTML . Jika Anda menghilangkan agen pengguna, maka Anda mendapatkan kembali 403. Jika Anda berbohong di agen pengguna dan mensimulasikan browser web (misalnya Chrome atau Firefox), maka Anda mendapatkan respons HTML yang jauh lebih besar yang membuang-buang bandwidth dan kinerja.
Berikut adalah contoh awal menggunakan Jsoup sebagai parser HTML:
String google = "http://www.google.com/search?q=";
String search = "stackoverflow";
String charset = "UTF-8";
String userAgent = "ExampleBot 1.0 (+http://example.com/bot)"; // Change this to your company's name and bot homepage!
Elements links = Jsoup.connect(google + URLEncoder.encode(search, charset)).userAgent(userAgent).get().select(".g>.r>a");
for (Element link : links) {
String title = link.text();
String url = link.absUrl("href"); // Google returns URLs in format "http://www.google.com/url?q=<url>&sa=U&ei=<someKey>".
url = URLDecoder.decode(url.substring(url.indexOf('=') + 1, url.indexOf('&')), "UTF-8");
if (!url.startsWith("http")) {
continue; // Ads/news/etc.
}
System.out.println("Title: " + title);
System.out.println("URL: " + url);
}