Saya ingin mengunduh file, sekaligus, dari halaman berikut menggunakan curl:
http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/
Saya mencoba curl http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/dan mengembalikan banyak baris di terminal, tetapi tidak mendapatkan file.
Jawaban:
Gunakan wgetsebagai gantinya. Anda dapat menginstalnya dengan brew install wgetapakah Anda telah menginstal Homebrew atau sudo port install wgetjika Anda telah menginstal MacPorts.
Untuk mengunduh file dari daftar direktori, gunakan -r(rekursif), -np(jangan ikuti tautan ke direktori induk), dan -kuntuk membuat tautan dalam HTML atau CSS yang diunduh mengarah ke file lokal (kredit @xaccrocheur).
wget -r -np -k http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/Opsi berguna lainnya:
-nd (tanpa direktori): unduh semua file ke direktori saat ini-e robots.off: abaikan file robots.txt, jangan unduh file robots.txt-A png,jpg: hanya menerima file dengan ekstensi pngataujpg-m (cermin): -r --timestamping --level inf --no-remove-listing-nc, --no-clobber: Lewati unduhan jika file adabrewdan porttidak berfungsi bagi saya untuk menginstal wget. Apa yang harus saya lakukan?
-ktidak selalu berfungsi. Misalnya, jika Anda memiliki dua tautan yang menunjuk ke file yang sama di laman web yang Anda coba tangkap secara rekursif, wgetsepertinya hanya mengubah tautan dari contoh pertama tetapi bukan yang kedua.
curlhanya bisa membaca file halaman web tunggal, banyak baris yang Anda dapatkan sebenarnya adalah indeks direktori (yang juga Anda lihat di browser jika Anda membuka URL itu). Untuk menggunakan curldan beberapa alat Unix sihir untuk mendapatkan file Anda bisa menggunakan sesuatu seperti
for file in $(curl -s http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/ |
grep href |
sed 's/.*href="//' |
sed 's/".*//' |
grep '^[a-zA-Z].*'); do
curl -s -O http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/$file
done
yang akan memasukkan semua file ke direktori saat ini.
Untuk kebutuhan yang lebih rumit (termasuk mendapatkan banyak file dari situs dengan folder / direktori), wget(seperti yang sudah diusulkan dalam jawaban lain) adalah pilihan yang lebih baik.
xmllint --html --xpath '//a/@href'mungkin parser yang lebih baik daripada grep.
Ref: http://blog.incognitech.in/download-files-from-apache-server-listing-directory/
Anda dapat menggunakan perintah berikut:
wget --execute="robots = off" --mirror --convert-links --no-parent --wait=5 <website-url>wget: Perintah Sederhana untuk membuat permintaan CURL dan mengunduh file jarak jauh ke mesin lokal kami.--execute="robots = off": Ini akan mengabaikan file robots.txt saat merayapi halaman. Akan sangat membantu jika Anda tidak mendapatkan semua file.--mirror: Opsi ini pada dasarnya akan mencerminkan struktur direktori untuk URL yang diberikan. Ini adalah jalan pintas -N -r -l inf --no-remove-listingyang artinya:
-N: jangan mengambil kembali file kecuali yang lebih baru dari lokal-r: tentukan unduhan rekursif-l inf: kedalaman rekursi maksimum (inf atau 0 untuk tak terbatas)--no-remove-listing: jangan hapus file '.listing'--convert-links: buat tautan dalam HTML atau CSS yang diunduh ke file lokal--no-parent: jangan naik ke direktori induk--wait=5: tunggu 5 detik antara pengambilan. Sehingga kami tidak membasmi server.<website-url>: Ini adalah url situs web tempat untuk mengunduh file.Selamat Mengunduh: smiley:
Anda dapat menggunakan httrack yang tersedia untuk Windows / MacOS dan dapat diinstal melalui Homebrew.
Bagi kita yang lebih suka menggunakan aplikasi dengan GUI, ada program shareware murah DeepVacuum untuk Mac OS X , yang mengimplementasikannya wgetdengan cara yang ramah pengguna, dengan daftar preset yang dapat menangani tugas-tugas yang biasanya dibutuhkan. Anda juga dapat menyimpan konfigurasi khusus Anda sebagai preset.
wget -r -np -k http://your.website.com/specific/directory. Caranya adalah dengan menggunakan-kuntuk mengonversi tautan (gambar, dll.) Untuk tampilan lokal.