Mengikis situs dengan curl / wget menambahkan parameter ke setiap situs


1

Saya perlu mengikis situs web untuk semua situs dan menambahkan Paramater, misalnya

www.theSite.com/allpages?myPara=us

Sekarang yang saya dapatkan adalah wget --recursive untuk mendapatkan semua situs, tapi itu tidak menambahkan parameter dan isinya tidak berguna. Saya perlu melakukan ini di langkah ke-2:

curl http://theSite.com/allpages?myPara=us | grep -c MyString

Jadi intinya saya mencari String tertentu di seluruh situs web yang hanya dapat saya akses melalui HTTP.

Jawaban:


1

Saya berhasil sekarang dengan menggunakan kurung dan ikal seperti ini:

curl http://www.mySite.com/category1/category2/{+cat1,+cat2,+cat3,+cat4,+cat4}?myPara=us | grep -c myString

Tentu saja ini tidak akan membuat saya semua situs, tetapi orang bisa membuat skrip dengan wget, regex, koleksi dan loop.

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.