Salin struktur direktori utuh ke AWS S3 bucket

Saya ingin menggunakan AWS S3 cli untuk menyalin struktur direktori lengkap ke ember S3.

Sejauh ini, semua yang saya coba salin file ke ember, tetapi struktur direktori runtuh. (untuk mengatakannya dengan cara lain, setiap file disalin ke direktori root ember)

Perintah yang saya gunakan adalah:

aws s3 cp --recursive ./logdata/ s3://bucketname/

Saya juga telah mencoba meninggalkan garis miring pada penunjukan sumber saya (yaitu, salinan dari argumen). Saya juga menggunakan wildcard untuk menunjuk semua file ... setiap hal yang saya coba cukup menyalin file log ke direktori root ember.

Saya percaya sinkronisasi adalah metode yang Anda inginkan. Coba ini sebagai gantinya:

aws s3 sync ./logdata s3://bucketname/

Saya menghadapi kesalahan ini saat menggunakan salah satu dari perintah ini.

$ aws s3 cp --recursive /local/dir s3://s3bucket/
OR
$ aws s3 sync /local/dir s3://s3bucket/

Saya bahkan berpikir untuk memasang bucket S3 secara lokal dan kemudian menjalankan rsync, bahkan yang gagal (atau macet selama beberapa jam) karena saya memiliki ribuan file.

Akhirnya, s3cmd bekerja seperti pesona.

s3cmd sync /local/dir/ --delete-removed s3://s3bucket/ --exclude="some_file" --exclude="*directory*"  --progress --no-preserve

Ini tidak hanya bekerja dengan baik dan menunjukkan output yang cukup jelas di konsol, tetapi juga mengunggah file besar di beberapa bagian.

Berikut ini bekerja untuk saya:

aws s3 cp ~/this_directory s3://bucketname/this_directory --recursive

AWS kemudian akan "membuat" this_directorydan menyalin semua konten lokal ke dalamnya.

Gunakan skrip berikut untuk menyalin struktur folder:

s3Folder="s3://xyz.abc.com/asdf";

for entry in "$asset_directory"*
do
    echo "Processing - $entry"
    if [[ -d  $entry ]]; then
        echo "directory"
        aws s3 cp  --recursive "./$entry" "$s3Folder/$entry/"
    else
        echo "file"
        aws s3 cp "./$entry" "$s3Folder/"
    fi
done

Saya tidak bisa s3 syncatau s3 cpbekerja pada folder 55 GB dengan ribuan file dan lebih dari 2 lusin subdirektori di dalamnya. Mencoba menyinkronkan seluruh folder hanya akan menyebabkan awscli gagal diam-diam tanpa mengunggah apa pun ke ember.

Akhirnya melakukan ini untuk pertama-tama menyinkronkan semua subdirektori dan kontennya (struktur folder dipertahankan):

nice find . -mindepth 1 -maxdepth 1 -type d | cut -c 3- | while read line; do aws s3 sync $"$line" "s3://bucketname/$line"; done

Lalu saya melakukan ini untuk mendapatkan 30.000 file di tingkat atas:

nice find . -mindepth 1 -maxdepth 1 -type f | cut -c 3- | while read line; do aws s3 cp "$line" "s3://bucketname/";

Pastikan untuk menonton beban di server (protip yang dapat Anda gunakan wuntuk hanya menunjukkan beban) dan ctrl-zuntuk menunda perintah jika memuat terlalu tinggi. ( fguntuk melanjutkan lagi).

Menempatkan ini di sini kalau-kalau itu membantu siapa pun dalam situasi yang sama.

Catatan:

-mindepth 1 tidak termasuk .

-maxdepth 1mencegah menemukan dari daftar isi sub-direktori, karena s3 syncmenangani mereka dengan sukses.

cut -c 3- menghapus "./" dari awal setiap hasil dari find.

Atau Anda juga dapat mencoba minio client alias mc

$ mc cp Desktop/test/test/test.txt s3/miniocloud/Desktop/test/test/

Semoga ini bisa membantu.

PS: Saya salah satu penyumbang proyek.

(Meningkatkan solusi Shishir )

• Simpan skrip berikut dalam file (saya beri nama file s3Copy.sh)

path=$1 # the path of the directory where the files and directories that need to be copied are located
s3Dir=$2 # the s3 bucket path

for entry in "$path"/*; do
    name=`echo $entry | sed 's/.*\///'`  # getting the name of the file or directory
    if [[ -d  $entry ]]; then  # if it is a directory
        aws s3 cp  --recursive "$name" "$s3Dir/$name/"
    else  # if it is a file
        aws s3 cp "$name" "$s3Dir/"
    fi
done

• Jalankan sebagai berikut:
  /PATH/TO/s3Copy.sh /PATH/TO/ROOT/DIR/OF/SOURCE/FILESandDIRS PATH/OF/S3/BUCKET
  Misalnya jika s3Copy.shdisimpan di direktori home dan saya ingin menyalin semua file dan direktori yang berada di direktori saat ini, maka saya menjalankan ini:
  ~/s3Copy.sh . s3://XXX/myBucket

Anda dapat dengan mudah memodifikasi script untuk memungkinkan argumen lain s3 cpseperti --include, --exclude...