Unduhan rekursif (`wget -r`) setara untuk Firefox?


15

Saya memiliki situs web, dan saya ingin mengunduh semua halaman / tautan dalam situs web itu. Saya ingin melakukan wget -rdi URL ini. Tidak ada tautan yang masuk "di luar" dari direktori khusus ini, jadi saya tidak khawatir mengunduh seluruh internet.

Ternyata, halaman yang saya inginkan berada di belakang bagian situs web yang dilindungi kata sandi. Walaupun saya bisa menggunakan wget untuk melakukan negosiasi cookie secara manual, akan jauh lebih mudah bagi saya untuk hanya "masuk" dari browser dan menggunakan beberapa plugin firefox untuk mengunduh semuanya secara rekursif.

Apakah ada ekstensi atau sesuatu yang akan membiarkan saya melakukan ini? Banyak ekstensi fokus pada mendapatkan media / gambar dari halaman (heh. Heh.) Tapi saya tertarik pada semua konten - HTML dan segalanya.

Saran?

Terima kasih!

Edit

DownThemAll sepertinya saran yang keren. Bisakah itu melakukan unduhan berulang ? Seperti di, unduh semua tautan di halaman tersebut, lalu unduh semua tautan yang ada di masing-masing halaman itu, dll? Jadi pada dasarnya saya mencerminkan seluruh pohon direktori dengan mengikuti tautan? Agak suka -ropsi wget?

Jawaban:


7

DownThemAll tidak melakukan pengunduhan rekursif. Hanya mengambil tautan dari halaman saat ini. Hanya halaman HTML dari URL tertaut yang diunduh. Gambar dan media halaman yang tertaut tidak diunduh.


6

SpiderZilla dimaksudkan untuk melakukan itu - tetapi, ini agak lama (2006).
Ini didasarkan pada mesin fotokopi situs web HTTrack .
Yang memiliki versi terbaru untuk semua platform.

Ada juga addon lain yang lebih lama yang dapat membuat Anda plug-in ' wget' sendiri (antara lain).

Namun, saya juga merasa bahwa DownThemAll mungkin merupakan pilihan yang baik.
Jika Anda tahu apa yang ingin Anda mirror, memilih tautan yang tepat seharusnya tidak menjadi masalah.
Dan, Anda selalu dapat mencentang kotak 'Semua'.

Jadi, +1, untuk DownThemAll jika Anda ingin tetap menggunakan browser.
Dan, gunakan HTTrack jika Anda menginginkan alat mandiri (dan wget tidak berguna).

Pembaruan: Anda mungkin juga ingin melihat suara HTTrack di pertanyaan karunia ini,
Bagaimana saya bisa mengunduh seluruh situs web .


DTA tidak mendukung rekursi
Hayden Thring

4

Anda dapat menggunakan wget -rdengan cookie dari browser, diekstraksi setelah otorisasi.

Firefox memiliki opsi "Salin sebagai cURL" di menu konteks permintaan halaman di tab Jaringan Alat Pengembang Web, hotkey Ctrl + Shift + Q (Anda mungkin perlu memuat ulang halaman setelah membuka alat): tangkapan layar

Ganti flag header curl -Hdengan wget --header, dan Anda memiliki semua header yang diperlukan, termasuk cookie, untuk melanjutkan sesi browser dengan wget.

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.