Saya menggunakan wget untuk mengunduh semua gambar dari sebuah situs web dan berfungsi dengan baik tetapi ia menyimpan hierarki asli dari situs tersebut dengan semua subfolder dan sehingga gambarnya tersebar. Apakah ada cara sehingga hanya akan mengunduh semua gambar ke dalam satu folder? Sintaks yang saya gunakan saat ini adalah:
wget -r -A jpeg,jpg,bmp,gif,png http://www.somedomain.com
Jawaban:
Coba ini:
wget -nd -r -P /save/location -A jpeg,jpg,bmp,gif,png http://www.somedomain.com
Berikut ini beberapa informasi lebih lanjut:
-ndmencegah pembuatan hierarki direktori (yaitu tidak ada direktori ).
-rmemungkinkan pengambilan rekursif. Lihat Unduhan Rekursif untuk informasi lebih lanjut.
-P mengatur awalan direktori tempat semua file dan direktori disimpan.
-Amenetapkan daftar putih untuk hanya mengambil jenis file tertentu. String dan pola diterima, dan keduanya dapat digunakan dalam daftar yang dipisahkan koma (seperti yang terlihat di atas). Lihat Jenis File untuk informasi lebih lanjut.
-Aopsi terima , lihat dokumentasi Wget tentang jenis file . Juga, jika Anda mengunduh ke direktori saat ini, Anda dapat menghapus -Popsi awalan direktori . Jika Anda mengunduh satu jenis file, seperti hanya jpg, gunakan sesuatu seperti wget -r -A.jpg http://www.domain.com. Lihatlah contoh lanjutan yang disediakan oleh dokumentasi Wget.
-nd ke atas membuatnya bekerja. Anda juga dapat menentukan beberapa -A flags seperti-A "*foo*" -A "*bar*"
--level=infatau --level=9999999999karena wgetmungkin akan menyabot pekerjaan karena tingkat kedalaman rekursi maksimum default 5.
wget -nd -r -l 2 -A jpg,jpeg,png,gif http://t.co
-nd: tidak ada direktori (simpan semua file ke direktori saat ini; -P directoryubah direktori target)-r -l 2: level rekursif 2-A: ekstensi yang diterimawget -nd -H -p -A jpg,jpeg,png,gif -e robots=off example.tumblr.com/page/{1..2}
-H: span hosts (wget tidak mengunduh file dari berbagai domain atau subdomain secara default)-p: syarat halaman (termasuk sumber daya seperti gambar pada setiap halaman)-e robots=off: jalankan perintah robotos=offseolah-olah itu bagian dari .wgetrcfile. Ini mematikan pengecualian robot yang berarti Anda mengabaikan robots.txt dan tag meta robot (Anda harus tahu implikasi yang menyertainya, berhati-hatilah).Contoh: Dapatkan semua .jpgfile dari daftar direktori yang patut dicontoh:
$ wget -nd -r -l 1 -A jpg http://example.com/listing/
Saya menulis sebuah shellscript yang memecahkan masalah ini untuk beberapa situs web: https://github.com/eduardschaeli/wget-image-scraper
(Mengikis gambar dari daftar url dengan wget)
Coba yang ini:
wget -nd -r -P /save/location/ -A jpeg,jpg,bmp,gif,png http://www.domain.com
dan tunggu sampai menghapus semua informasi tambahan
wget -nd -r -P /Users/duraiamuthan/Downloads/images/ -A jpeg,jpg,bmp,gif,png http://www.forbes.com/profile/mark-zuckerberg/
Menurut halaman manual, flag -P adalah:
-P awalan --directory-prefix = awalan Atur awalan direktori ke awalan. Awalan direktori adalah direktori tempat semua file dan subdirektori lainnya akan disimpan, yaitu bagian atas pohon pengambilan. Standarnya adalah. (direktori saat ini).
Ini berarti bahwa itu hanya menentukan tujuan tetapi di mana harus menyimpan pohon direktori. Itu tidak meratakan pohon menjadi hanya satu direktori . Seperti disebutkan sebelumnya, flag -nd benar-benar melakukan itu.
@Jon di masa depan akan bermanfaat untuk menggambarkan apa yang dilakukan flag sehingga kami memahami cara kerja sesuatu.
Solusi yang diusulkan sempurna untuk mengunduh gambar dan jika cukup bagi Anda untuk menyimpan semua file dalam direktori yang Anda gunakan. Tetapi jika Anda ingin menyimpan semua gambar dalam direktori yang ditentukan tanpa mereproduksi seluruh hierarki pohon situs, coba tambahkan "cut-dirs" ke baris yang diusulkan oleh Jon.
wget -r -P /save/location -A jpeg,jpg,bmp,gif,png http://www.boia.de --cut-dirs=1 --cut-dirs=2 --cut-dirs=3
dalam hal ini cut-dirs akan mencegah wget dari membuat subdirektori hingga tingkat ke-3 dalam hierarki situs web, menyimpan semua file dalam direktori yang Anda tentukan. Anda dapat menambahkan lebih banyak 'cut-dirs' dengan angka yang lebih tinggi jika Anda berurusan dengan situs dengan struktur yang dalam.
utilitas wget mengambil file dari World Wide Web (WWW) menggunakan protokol yang banyak digunakan seperti HTTP, HTTPS dan FTP. Utilitas Wget adalah paket yang tersedia secara bebas dan lisensi berada di bawah Lisensi GNU GPL. Utilitas ini dapat menginstal sistem Operasi mirip Unix termasuk Windows dan MAC OS. Ini adalah alat baris perintah non-interaktif. Fitur utama dari Wget adalah ketahanannya. Ini dirancang sedemikian rupa sehingga berfungsi dalam koneksi jaringan yang lambat atau tidak stabil. Wget secara otomatis mulai mengunduh di mana ia ditinggalkan jika ada masalah jaringan. Juga mengunduh file secara rekursif. Itu akan terus mencoba sampai file telah diambil sepenuhnya.
Instal wget di mesin linux sudo apt-get install wget
Buat folder tempat Anda ingin mengunduh file. sudo mkdir myimages cd myimages
Klik kanan pada halaman web dan misalnya jika Anda ingin lokasi gambar klik kanan pada gambar dan salin lokasi gambar. Jika ada beberapa gambar, ikuti di bawah ini:
Jika ada 20 gambar untuk diunduh dari web sekaligus, kisaran mulai dari 0 hingga 19.
wget http://joindiaspora.com/img {0..19} .jpg