Pertanyaan yang diberi tag «web-crawler»

Saya ingin mengunduh HTML (contoh: http://www.brpreiss.com/books/opus6/ ) dan bergabung dengan satu HTML atau format lain yang dapat saya gunakan pada pembaca ebook. Situs dengan buku gratis tidak memiliki paging standar, itu bukan blog atau forum, jadi tidak tahu bagaimana melakukan perayapan dan penggabungan otomatis.

22 ebook  web-crawler 

Mengapa @ terkadang dalam halaman web ditulis sebagai [at]? Apakah ada alasan khusus?

15 email  html  web  spam-prevention  web-crawler 

Pada dasarnya, saya ingin merayapi seluruh situs dengan Wget, tetapi saya membutuhkannya untuk TIDAK PERNAH mengunduh aset lain (mis. Citra, CSS, JS, dll.). Saya hanya ingin file HTML. Pencarian Google sama sekali tidak berguna. Ini perintah yang sudah saya coba: wget --limit-rate=200k --no-clobber --convert-links --random-wait -r -E -e robots=off -U …

14 wget  web-crawler 

Bagaimana Anda menginstruksikan wget untuk merayapi situs web secara rekursif dan hanya mengunduh jenis gambar tertentu? Saya mencoba menggunakan ini untuk menjelajah situs dan hanya mengunduh gambar Jpeg: wget --no-parent --wait=10 --limit-rate=100K --recursive --accept=jpg,jpeg --no-directories http://somedomain/images/page1.html Namun, meskipun page1.html berisi ratusan tautan ke subhalaman, yang memiliki tautan langsung ke gambar, …

13 linux  bash  script  web-crawler  wget 

Seperti yang ada saat ini, pertanyaan ini tidak cocok untuk format Tanya Jawab kami. Kami berharap jawaban didukung oleh fakta, referensi, atau keahlian, tetapi pertanyaan ini kemungkinan akan mengundang debat, argumen, polling, atau diskusi panjang. Jika Anda merasa bahwa pertanyaan ini dapat diperbaiki dan mungkin dibuka kembali, kunjungi pusat bantuan …

12 php  curl  screen-scraping  web-crawler 

Saya sudah memiliki pertanyaan yang dijawab tentang pengikisan web dengan wget. tetapi ketika saya membaca sedikit lebih banyak, saya menyadari saya mungkin sedang mencari program perayapan web. khususnya bagian tentang perayap web yang bisa mendapatkan data spesifik seperti tautan atau, dalam kasus saya, produk. semua produk di situs saya memiliki …

1 website  wget  web-crawler 

Saya mencoba memuat file struktur protein (mis. ini ) untuk ini situs web . Itu hanya memungkinkan kita memuat satu struktur pada satu waktu. Tapi saya punya ratusan file struktur untuk dimuat. Apakah ada cara saya bisa menulis skrip untuk mengaktifkan pengiriman batch? Saya terbuka untuk saran. Terima kasih.

batch  script  webserver  web-crawler 

Saya menggunakan API yang memiliki batas permintaan dalam satu jam. Tetapi skrip saya melakukan semuanya sekaligus sehingga saya kehilangan sekitar 1/3 permintaan karena saya mendapatkan 403. Apakah ada cara untuk memeriksa respons wget dan jika saya mendapatkan 403 untuk menunggu 5 menit dan coba lagi? Dan ini kode pengujian saya …

php  wget  web-crawler