Pertanyaan yang diberi tag «wget»

Masalahnya adalah ini, saya punya file dengan daftar URL, katakan links.txt: http://www.tipsfor.us/wp-content/uploads/2009/01/vim-editor-icon.png http://wp.psyx.us/wp-content/uploads/2011/01/vi-vim-tutorial-1.gif http://proft.me/static/img/vim/vi-vim-cheat-sheet.gif Apa yang saya coba lakukan adalah memberi wgettahu bahwa saya tidak ingin menjadi pngseperti ini: $ wget -R png -i links.txt Tapi ini tidak berpengaruh dan wgetmasih membuat pngfile bersama dengan yang lain. Perpipaan links.txtmelalui grepbukanlah …

2 wget  exclude 

Saya mencoba menghapus beberapa video dari situs web yang perlu masuk. Saya mencoba menggunakan youtube-dldengan --cookiesparameter tetapi dikatakan URL yang tidak didukung. Saya mencoba memberinya beberapa URL yang saya dapatkan dengan memilih pemain dengan inspektur web tetapi tidak berhasil. Yang saya dapatkan hanyalah permintaan XHR, dimulai dengan jsonfile yang berisi …

2 video  streaming  wget 

Dengan wget --recursive --no-clobber --page-requisites --html-extension \ --convert-links --restrict-file-names=windows \ --domains example.com --no-parent example.com dapatkah saya membuang seluruh situs web untuk dilihat secara offline. Situs web yang ingin saya buang mengharuskan saya login, jadi saya bisa menulis skrip Bash yang menyimpan cookie dan kemudian memuatnya lagi, tetapi itu memakan waktu. …

1 google-chrome  bash  firefox  wget  curl 

Terkadang saya menemukan unduhan yang dibuat menggunakan Google Chrome terganggu, menyebabkan file terpotong. Chrome tampaknya mendeteksi situasi ini sebagai ERR_CONTENT_LENGTH_MISMATCH, tetapi kemudian mengabaikan kesalahan dan menganggap unduhan berhasil. Dengan demikian tidak ada pemberitahuan bahwa file yang diunduh tidak lengkap. Kode dalam Chromium yang menyebabkan ERR_CONTENT_LENGTH_MISMATCH diabaikan tampaknya sini . Apakah …

1 google-chrome  browser  download  wget 

Saya mencoba menyimpan versi lokal dari clojure docs dengan wget perintah: wget --user-agent=firefox --ignore-length -c -km "http://clojuredocs.org/quickref/Clojure Core"` tapi terus dapatkan no such file or directory ketika mencapai beberapa tautan seperti http://clojuredocs.org/clojure_core/clojure.core/rem yang jelas ada karena Anda bisa sampai di sana dengan browser. Saya kira ini masalah dengan caranya wget …

1 wget  mirroring 

Saya mencoba untuk mencerminkan halaman arahan situs untuk melakukan pengujian. Apakah ada cara untuk mencerminkan hanya tingkat pertama dari suatu situs? YAITU. semua permintaan harus menjadi file lokal hanya untuk halaman indeks pertama (tidak wget -m -k ). Saya nyaman dengan baris perintah sehingga sesuatu yang menggunakan alat CLI sangat …

1 wget 

Saya ingin mengunduh semua pengeluaran pemerintah lebih dari £ 500 oleh Departemen Energi dan Perubahan Iklim. Ini adalah file .xls dan .xlsx, dibuat sebulan sekali. Mereka disimpan di lokasi seperti ini: https: // www.gov.uk/government/uploads/system/uploads/attachment_data/file/209425/20130627_April_2013_PUS_.xls di mana nomor setelah file adalah nomor unik dan nama file tidak memiliki konsistensi penamaan. File-file …

1 wget  recursive  exclude 

Saya menggunakan kode berikut untuk mengunduh "example1.com" dengan Windows. Namun, kode ini hanya terbatas pada satu URL. Apakah mungkin mengimpor file txt yang berisi beberapa URL saja? wget -erobots=off --no-parent --wait=3 --limit-rate=20K -r -p -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" -A htm,html,css,js,json,gif,jpeg,jpg,bmp http://example1.com

1 wget  url 

saya tidak tahu apa yang terjadi, tetapi tiba-tiba mulai menunjukkan progress bar dalam urutan terbalik ... Permintaan HTTP terkirim, menunggu respons ... 200 OK Panjang: 4102725632 (3.8G) [application / octet-stream] Menyimpan ke: `*******. *** ' -64% [================> ................] -1,603,353,961 14,3 K / s eta 2d 17j bukannya ini biasanya: Permintaan …

1 windows-7  windows  wget  progress-bar 

Saya sudah memiliki pertanyaan yang dijawab tentang pengikisan web dengan wget. tetapi ketika saya membaca sedikit lebih banyak, saya menyadari saya mungkin sedang mencari program perayapan web. khususnya bagian tentang perayap web yang bisa mendapatkan data spesifik seperti tautan atau, dalam kasus saya, produk. semua produk di situs saya memiliki …

1 website  wget  web-crawler 

Saya perlu mengikis situs web untuk semua situs dan menambahkan Paramater, misalnya www.theSite.com/allpages?myPara=us Sekarang yang saya dapatkan adalah wget --recursive untuk mendapatkan semua situs, tapi itu tidak menambahkan parameter dan isinya tidak berguna. Saya perlu melakukan ini di langkah ke-2: curl http://theSite.com/allpages?myPara=us | grep -c MyString Jadi intinya saya mencari …

1 http  wget  curl  string 

Saya mencoba mendapatkan replika persis satu halaman. Saya menggunakan: wget -E -H -k -K -p http://example.com Semuanya berfungsi dengan baik kecuali: Jika dalam gaya saya ada impor file CSS lain itu tidak bisa diunduh. Jika JavaScript menempatkan gambar di mana saja maka mereka tidak diunduh (letakkan kelas pada tag jangkar …

1 linux  wget 

Saya mencoba mengunduh direktori dropbox menggunakan perintah berikut. wget -O reads -r "https://www.dropbox.com/sh/1eqzxexmei28ihx/AAAnjVNqUl8MJFH51j9PILf-a?dl=1 Itu mengunduh, tetapi hasilnya adalah file bukan direktori $ ls -rw-r--r--@ 1 juliofdiaz staff 5.3M 13 Dec 17:07 reads Ada bantuan dengan ini?

dropbox  wget 

Saya mencoba mengunduh file dari tautan http://ligman.me/VSpodw menggunakan wget . tetapi itu menyimpan nama file sebagai VSpodw sebagai karakter terakhir dari url. tetapi ketika saya mengunduh file yang sama dengan browser itu mengubah namanya menjadi file tertentu. Jadi bagaimana melakukan file ini bekerja dengan wget . Bagaimana cara menyimpan file …

linux  download  wget 

Adakah yang tahu bagaimana cara menyimpan halaman web dengan skrip dengan menggunakan wget? Atau parameter apa yang harus digunakan untuk mencapai? Halaman web berisi skrip dan sepertinya hanya ekstensi SingleFile Core di Chrome yang dapat menyimpan semua properti konten. Firefox tidak dapat menyimpan konten tabel dan penyimpanan bawaan Chrome akan …

google-chrome  firefox  wget