Saya ingin mendekodekan penyandian URL, apakah ada alat bawaan untuk melakukan ini atau ada yang bisa memberi saya sedkode yang akan melakukan ini?

Saya memang mencari sedikit melalui unix.stackexchange.com dan di internet tetapi saya tidak dapat menemukan alat baris perintah untuk decoding encoding url.

Yang ingin saya lakukan hanyalah mengedit txtfile sehingga:

• %21 menjadi !
• %23 menjadi #
• %24 menjadi $
• %26 menjadi &
• %27 menjadi '
• %28 menjadi (
• %29 menjadi )

Dan seterusnya.

Temukan Python one liners ini yang melakukan apa yang Anda inginkan:

$ alias urldecode='python -c "import sys, urllib as ul; \
    print ul.unquote_plus(sys.argv[1])"'

$ alias urlencode='python -c "import sys, urllib as ul; \
    print ul.quote_plus(sys.argv[1])"'

Contoh

$ urldecode 'q+werty%3D%2F%3B'
q werty=/;

$ urlencode 'q werty=/;'
q+werty%3D%2F%3B

Referensi

• Urlencode dan urldecode dari baris perintah

sed

Coba baris perintah berikut:

$ sed 's@+@ @g;s@%@\\x@g' file | xargs -0 printf "%b"

atau alternatif berikut menggunakan echo -e:

$ sed -e's/%\([0-9A-F][0-9A-F]\)/\\\\\x\1/g' file | xargs echo -e

^{Catatan: Sintaks di atas mungkin tidak dikonversi +ke spasi, dan dapat memakan semua baris baru.}

Anda dapat mendefinisikannya sebagai alias dan menambahkannya ke file rc shell Anda :

$ alias urldecode='sed "s@+@ @g;s@%@\\\\x@g" | xargs -0 printf "%b"'

Lalu setiap kali Anda membutuhkannya, cukup ikuti:

$ echo "http%3A%2F%2Fwww" | urldecode
http://www

Pesta

Saat membuat skrip, Anda dapat menggunakan sintaks berikut:

input="http%3A%2F%2Fwww"
decoded=$(printf '%b' "${input//%/\\x}")

^{Namun sintaks di atas tidak akan menangani plus ( +) dengan benar, jadi Anda harus menggantinya dengan spasi via sed.}

Anda juga dapat menggunakan fungsi urlencode()dan berikut ini urldecode():

urlencode() {
    # urlencode <string>
    local length="${#1}"
    for (( i = 0; i < length; i++ )); do
        local c="${1:i:1}"
        case $c in
            [a-zA-Z0-9.~_-]) printf "$c" ;;
            *) printf '%%%02X' "'$c" ;;
        esac
    done
}

urldecode() {
    # urldecode <string>

    local url_encoded="${1//+/ }"
    printf '%b' "${url_encoded//%/\\x}"
}

Perhatikan bahwa di atas urldecode()mengasumsikan data tidak mengandung garis miring terbalik.

Berikut ini adalah versi Joel serupa yang ditemukan di: https://github.com/sixarm/urldecode.sh

bash + xxd

Fungsi Bash dengan xxdalat:

urlencode() {
  local length="${#1}"
  for (( i = 0; i < length; i++ )); do
    local c="${1:i:1}"
    case $c in
      [a-zA-Z0-9.~_-]) printf "$c" ;;
    *) printf "$c" | xxd -p -c1 | while read x;do printf "%%%s" "$x";done
  esac
done
}

Ditemukan di file inti cdown , juga di stackoverflow .

PHP

Menggunakan PHP Anda dapat mencoba perintah berikut:

$ echo oil+and+gas | php -r 'echo urldecode(fgets(STDIN));' // Or: php://stdin
oil and gas

atau hanya:

php -r 'echo urldecode("oil+and+gas");'

Gunakan -Runtuk input baris ganda.

Perl

Di Perl Anda dapat menggunakan URI::Escape.

decoded_url=$(perl -MURI::Escape -e 'print uri_unescape($ARGV[0])' "$encoded_url")

Atau untuk memproses file:

perl -i -MURI::Escape -e 'print uri_unescape($ARGV[0])' file

awk

Coba solusi anon :

awk -niord '{printf RT?$0chr("0x"substr(RT,2)):$0}' RS=%..

^{Catatan: Parameter -nkhusus untuk GNU awk.}

Lihat: Menggunakan awk printf untuk urldecode teks .

nama file decoding

Jika Anda perlu menghapus penyandian url dari nama file, gunakan deurlnamealat dari renameutils(mis deurlname *.*.).

Lihat juga:

• Bisakah wget mendekode nama file uri saat mengunduh dalam batch?
• Bagaimana cara menghapus penyandian URI dari nama file?

Terkait:

• Bagaimana cara memecahkan kode string URL-encoded di shell? di SO
• Bagaimana saya bisa menyandikan dan mendekodekan string yang dikodekan persen pada baris perintah? di Tanya Ubuntu

Ada fungsi bawaan untuk itu di pustaka standar Python. Dalam Python 2, itu urllib.unquote.

decoded_url=$(python2 -c 'import sys, urllib; print urllib.unquote(sys.argv[1])' "$encoded_url")

Atau untuk memproses file:

python2 -c 'import sys, urllib; print urllib.unquote(sys.stdin.read())' <file >file.new &&
mv -f file.new file

Dalam Python 3, itu urllib.parse.unquote.

decoded_url=$(python3 -c 'import sys, urllib.parse; print(urllib.parse.unquote(sys.argv[1]))' "$encoded_url")

Atau untuk memproses file:

python3 -c 'import sys, urllib; print(urllib.parse.unquote(sys.stdin.read()))' <file >file.new &&
mv -f file.new file

Di Perl Anda dapat menggunakan URI::Escape.

decoded_url=$(perl -MURI::Escape -e 'print uri_unescape($ARGV[0])' "$encoded_url")

Atau untuk memproses file:

perl -i -MURI::Escape -e 'print uri_unescape($ARGV[0])' file

Jika Anda ingin tetap menggunakan alat portabel POSIX, itu aneh, karena satu-satunya kandidat yang serius adalah awk, yang tidak menguraikan angka heksadesimal. Lihat Menggunakan awk printf ke urldecode teks untuk contoh dengan implementasi awk yang umum, termasuk BusyBox.

Jika Anda ingin menggunakan sedperintah yang berpikiran sederhana , maka gunakan yang berikut ini:

sed -e 's/%21/!/g' -e 's/%23/#/g' -e 's/%24/$/g' -e 's/%26/\&/g' -e "s/%27/'/g" -e 's/%28/(/g' -e 's/%29/)/g'

Tetapi lebih mudah untuk membuat skrip seperti (katakanlah sedscript):

s/%21/!/g
s/%23/#/g
s/%24/$/g
s/%26/\&/g
s/%27/'/g
s/%28/(/g
s/%29/)/g

Kemudian jalankan sed -f sedscript < old > new, yang akan menampilkan seperti yang Anda inginkan.

Untuk kemudahan, perintah urlencodeini juga tersedia langsung dalam gridsite-clientspaket yang dapat diinstal dari (oleh sudo apt-get install gridsite-clientsdalam sistem Ubuntu / Debian).

NAMA

urlencode - mengonversi string ke atau dari formulir yang disandikan URL

RINGKASAN

urlencode [-m|-d] string [string ...]

DESKRIPSI

urlencode mengkodekan string menurut RFC 1738.

Yaitu, karakter A- Z a- z 0- 9 . _dan -dilewatkan melalui yang tidak dimodifikasi, tetapi semua karakter lain direpresentasikan sebagai% HH, di mana HH adalah dua digit representasi ASCII heksadesimal huruf besar mereka. Misalnya, URL http://www.gridpp.ac.uk/menjadihttp%3A%2F%2Fwww.gridpp.ac.uk%2F

urlencodemengkonversi setiap karakter di semua string yang diberikan pada baris perintah. Jika beberapa string diberikan, mereka digabungkan dengan memisahkan ruang sebelum konversi.

PILIHAN

-m
Alih-alih konversi penuh, lakukan GridSite "pengkodean URL ringan" di mana AZ az 0-9. = - _ @ dan / dilewati tanpa dimodifikasi. Ini menghasilkan string yang sedikit lebih dapat dibaca manusia tetapi aplikasi harus siap untuk membuat atau mensimulasikan direktori yang tersirat oleh garis miring.
-d
Lakukan URL-decoding daripada encoding, menurut RFC 1738.% HH dan% hh string dikonversi dan karakter lain dilewatkan tanpa dimodifikasi, dengan pengecualian yang +dikonversi ke ruang.

Contoh URL penguraian:

$ urlencode -d "http%3a%2f%2funix.stackexchange.com%2f"
http://unix.stackexchange.com/

$ urlencode -d "Example: %21, %22, . . . , %29 etc"
Example: !, ", . . . , ) etc

Perl satu liner:

$ perl -pe 's/\%(\w\w)/chr hex $1/ge'

Contoh:

$ echo '%21%22' |  perl -pe 's/\%(\w\w)/chr hex $1/ge'
!"

GNU awk

#!/usr/bin/awk -fn
@include "ord"
BEGIN {
  RS = "%.."
}
{
  printf RT ? $0 chr("0x" substr(RT, 2)) : $0
}

Atau

#!/bin/sh
awk -niord '{printf RT?$0chr("0x"substr(RT,2)):$0}' RS=%..

Konversikan URL file yang disandikan persen ke file lokal di bash

Saya tidak dapat mengomentari jawaban terbaik di utas ini , jadi inilah milik saya.

Secara pribadi, saya menggunakan alias ini untuk penyandian dan penguraian URL:

alias urlencode='python -c "import urllib, sys; print urllib.quote(  sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1])"'

alias urldecode='python -c "import urllib, sys; print urllib.unquote(sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1])"'

Kedua perintah memungkinkan Anda untuk mengkonversi data, diteruskan sebagai argumen baris perintah atau membacanya dari input standar , karena keduanya satu-baris memeriksa apakah ada argumen baris perintah (bahkan yang kosong) dan memprosesnya atau hanya membaca input standar jika tidak.

perbarui 2017-05-23 (penyandian slash)

Menanggapi komentar @ Bevor.

Jika Anda juga perlu menyandikan slash, cukup tambahkan argumen kosong kedua ke fungsi kutipan, maka slash juga akan disandikan.

Jadi, akhirnya urlencode alias dalam bash terlihat seperti ini:

alias urlencode='python -c "import urllib, sys; print urllib.quote(sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1], \"\")"'

Contoh

$ urlencode "Проба пера/Pen test"
%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test

$ echo "Проба пера/Pen test" | urlencode
%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test

$ urldecode %D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test
Проба пера/Pen test

$ echo "%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test" | urldecode
Проба пера/Pen test

$ urlencode "Проба пера/Pen test" | urldecode
Проба пера/Pen test

$ echo "Проба пера/Pen test" | urlencode | urldecode
Проба пера/Pen test

Dan pendekatan Perl lainnya:

#!/usr/bin/env perl
use URI::Encode;
my $uri     = URI::Encode->new( { encode_reserved => 0 } );
while (<>) {

    print $uri->decode($_)
}

Anda perlu menginstal URI::Encodemodul. Di Debian saya, saya bisa berlari

sudo apt-get install liburi-encode-perl

Kemudian, saya menjalankan skrip di atas pada file uji yang berisi:

http://foo%21asd%23asd%24%26asd%27asd%28asd%29

Hasilnya adalah (saya telah menyimpan skrip sebagai foo.pl):

$ ./foo.pl
http://foo!asd#asd$&asd'asd(asd)

Sebuah jawaban dalam shell (kebanyakan Posix):

$ input='%21%22'
$ printf "`printf "%s\n" "$input" | sed -e 's/+/ /g' -e 's/%\(..\)/\\\\x\1/g'`"
!"

Penjelasan:

• -e 's/+/ /gmentransformasikan masing-masing +dalam ruang (seperti yang dijelaskan dalam norma url-encode)
• -e 's/%\(..\)/\\\\x\1/g'mengubah setiap %XXdi \\xXX. Pemberitahuan salah satu \akan dihapus dengan mengutip aturan.
• Printf bagian dalam hanya ada untuk mengirimkan input ke sed. Kami dapat menggantinya dengan mekanisme lain apa pun
• Printf luar menafsirkan \\xXXurutan dan hasil tampilan.

Sunting:

Karena %harus selalu ditafsirkan dalam URL, dimungkinkan untuk menyederhanakan jawaban ini. Selain itu, saya pikir lebih bersih untuk menggunakan xargsdaripada backquotes (terima kasih kepada @josch).

$ input='%21%22+%25'
$ printf "%s\n" "$input" | sed -e 's/+/ /g; s/%/\\x/g' | xargs -0 printf
!" %

Sayangnya, (seperti yang diperhatikan @josch) tidak ada solusi ini yang sesuai dengan Posix karena \xurutan escape tidak didefinisikan dalam Posix.

Khusus shell:

$ x='a%20%25%e3%81%82';printf "${x//\%/\\x}"
a %あ

Tambah --atau %buntuk mencegah argumen yang dimulai dengan tanda hubung diperlakukan sebagai opsi.

In zsh ${x//%/a}menambah aakhir tetapi ${x//\%/a}menggantikan %dengan a.

Berikut ini adalah bit yang relevan dari skrip lain (yang tanpa malu-malu saya mencuri dari skrip unduhan youtube.com dari jawaban lain) yang pernah saya tulis sebelumnya. Ia menggunakan seddan shell untuk membangun urldecode yang berfungsi.

set \! \" \# \$ \% \& \' \( \) \* \ \+ \, \/ \: \; \= \? \@ \[ \]
for c do set "$@" "'$c" "$c"; shift; done
curl -s "$url" | sed 's/\\u0026/\&/g;'"$(
    printf 's/%%%X/\\%s/g;' "$@"
)"

Saya tidak akan bersumpah ini komprehensif - dan sebenarnya saya ragu - tapi itu menangani youtube cukup jelas.

Berikut adalah fungsi BASH untuk melakukan hal itu:

function urldecode() {
        echo -ne $(echo -n "$1" | sed -E "s/%/\\\\x/g")
}

Solusi lain menggunakan ruby ​​(jawaban python yang diterima tidak bekerja untuk saya)

alias urldecode='ruby -e "require \"cgi\"; puts CGI.unescape(ARGV[0])"'
alias urlencode='ruby -e "require \"cgi\"; puts CGI.escape(ARGV[0])"'

Contoh

$ urldecode 'q+werty%3D%2F%3B'
q werty=/;

$ urlencode 'q werty=/;'
q+werty%3D%2F%3B