Menyimpan file teks dari web ke lokal dari baris perintah Linux

0

Saya memiliki beberapa file teks yang ingin saya ambil dari server web di sekolah dan menyimpannya di lokal saya menggunakan antarmuka baris perintah. Ini bukan masalah pekerjaan rumah, hanya saya yang mencoba melakukan sesuatu yang membosankan dengan cara yang efisien. Jadi saya punya dua hal yang saya coba lakukan:

Secara rekursif menelusuri direktori pada server web mencari beberapa file teks. Saya tidak yakin apakah saya dapat melakukan ini langsung dari baris perintah tanpa menulis beberapa aplikasi khusus kecil, tetapi ide apa pun akan dihargai.
Salin file teks dan simpan di disk lokal saya. saya menemukan Link ini , tapi saya belum bisa menemukan cara untuk melindunginya ke file atau menyimpannya secara lokal.

linux command-line

— LJM
sumber

apakah Anda tidak tahu URL file sebelumnya? Bagaimana Anda tahu ketika Anda memiliki file teks yang Anda inginkan?

— qedi

Saya tahu URL file sebelumnya. Ada seorang profesor yang memposting banyak catatan dalam file teks di situs webnya dan secara berkala saya ingin cara yang efisien untuk keluar dan meraih satu set besar.

— LJM

5

wget adalah alat yang bagus, dan dapat mengambil file dari server web secara rekursif.

  wget -r 'http://url/'

— qedi
sumber

2

Untuk mengambil file dari baris perintah di linux ada dua alat dasar.

WGET
- ikal

Itu penting apa membuat file menarik bagi Anda untuk mendapatkannya.

Jika ada hubungannya dengan itu jalan atau nama , semuanya lebih mudah dan Anda bisa berkeliling hanya dengan 'merangkak' situs tersebut.

Tetapi, jika Anda perlu mendapatkan file karena itu mengandung sesuatu yang menarik di mana Anda akan mencari isinya (dan Anda belum mengindeks untuk ini - seperti, katakan pencarian Google), maka Anda akan perlu untuk mendapatkan setiap file dan memeriksanya agar sesuai dengan minat Anda untuk mempertahankan atau menghapus (salinan lokal) .

— nik
sumber

0

Cara mudah untuk mengunduh halaman web secara rekursif.

wget -r -p -k -c -np URL

katakan jika Anda ingin menghapus file zip, tar.gz dan rar

wget -r -p -k -c -np -R zip,gz,rar URL

atau bisa digunakan httrack , yang memiliki GUI (asli dan web) untuk konfigurasi (seperti aturan filter).

— Meow
sumber