Saya telah mencari alat untuk membantu saya menyalin konten dari bucket AWS S3 ke dalam bucket AWS S3 kedua tanpa mengunduh konten terlebih dahulu ke sistem file lokal.

Saya telah mencoba menggunakan opsi salinan konsol AWS S3 tetapi itu mengakibatkan beberapa file bersarang hilang.

Saya telah mencoba menggunakan aplikasi Transmit (oleh Panic). Perintah duplikat mengunduh file terlebih dahulu ke sistem lokal kemudian mengunggahnya kembali ke keranjang kedua, yang cukup tidak efisien.

Salin antara S3 Bucket

AWS (baru-baru ini) merilis antarmuka baris perintah untuk menyalin antar bucket.

http://aws.amazon.com/cli/

$ aws s3 sync s3://mybucket-src s3://mybucket-target --exclude *.tmp
..

Ini akan menyalin dari satu keranjang target ke keranjang lain.

Lihat dokumentasi di sini: Dokumentasi CLI S3

Contoh sederhana menggunakan permata aws-sdk:

AWS.config(:access_key_id => '...', :secret_access_key => '...')
s3 = AWS::S3.new
s3.buckets['bucket-name'].objects['source-key'].copy_to('target-key')

Jika Anda ingin melakukan penyalinan di antara keranjang yang berbeda, tentukan nama keranjang target:

s3.buckets['bucket-name'].objects['source-key'].copy_to('target-key', :bucket_name => 'target-bucket')

Anda sekarang dapat melakukannya dari antarmuka admin S3. Cukup masuk ke satu ember pilih semua folder Anda actions->copy. Kemudian pindah ke keranjang baru Anda actions->paste.

Mungkin saja dengan permata aws-sdk terbaru , lihat contoh kode:

require 'aws-sdk'

AWS.config(
  :access_key_id     => '***',
  :secret_access_key => '***',
  :max_retries       => 10
)

file     = 'test_file.rb'
bucket_0 = {:name => 'bucket_from', :endpoint => 's3-eu-west-1.amazonaws.com'}
bucket_1 = {:name => 'bucket_to',   :endpoint => 's3.amazonaws.com'}

s3_interface_from = AWS::S3.new(:s3_endpoint => bucket_0[:endpoint])
bucket_from       = s3_interface_from.buckets[bucket_0[:name]]
bucket_from.objects[file].write(open(file))

s3_interface_to   = AWS::S3.new(:s3_endpoint => bucket_1[:endpoint])
bucket_to         = s3_interface_to.buckets[bucket_1[:name]]
bucket_to.objects[file].copy_from(file, {:bucket => bucket_from})

detail lebih lanjut: Cara menyalin file di seluruh ember menggunakan permata aws-s3

Salin di antara keranjang di berbagai wilayah

$ aws s3 cp s3://src_bucket/file  s3://dst_bucket/file --source-region eu-west-1 --region ap-northeast-1

Perintah di atas menyalin file dari bucket di Eropa (eu-west-1) ke Jepang (ap-east-east). Anda bisa mendapatkan nama kode untuk wilayah bucket Anda dengan perintah ini:

$ aws s3api get-bucket-location --bucket my_bucket

Omong-omong, menggunakan Salin dan Tempel di konsol web S3 itu mudah, tetapi tampaknya mengunduh dari keranjang sumber ke dalam browser, lalu mengunggah ke keranjang tujuan. Bagi saya, menggunakan "aws s3" jauh lebih cepat.

Saya telah membuat Docker yang dapat dieksekusi dari alat s3s3mirror . Utilitas untuk menyalin dan mencerminkan dari bucket AWS S3 ke yang lain.

Itu berulir memungkinkan COPY paralel dan sangat efisien memori, itu berhasil di mana s3cmd benar-benar gagal.

Pemakaian:

docker run -e AWS_ACCESS_KEY_ID=FOO -e AWS_SECRET_ACCESS_KEY=BAR pmoust/s3s3mirror [OPTIONS] source_bucket[/prefix] dest_bucket[/prefix]

Untuk daftar lengkap opsi coba:

docker run pmoust/s3s3mirror 

Lihat dokumentasi di bawah ini. Saya rasa itulah yang Anda cari. http://docs.amazonwebservices.com/AmazonS3/latest/API/RESTObjectCOPY.html

S3Interface permata RightAws memiliki fungsi salin yang melakukan hal di atas.

http://rubydoc.info/gems/right_aws/3.0.0/RightAws/S3Interface#copy-instance_method

Saya membayangkan Anda mungkin telah menemukan solusi yang baik sekarang, tetapi bagi orang lain yang mengalami masalah ini (seperti yang saya baru-baru ini), saya telah membuat utilitas sederhana khusus untuk tujuan mencerminkan satu ember S3 ke yang lain di dengan cara yang sangat konkuren, namun dengan CPU dan memori yang efisien.

Ada di github di bawah Lisensi Apache di sini: https://github.com/cobbzilla/s3s3mirror

Jika Anda memiliki bucket yang sangat besar dan mencari performa maksimal, mungkin ada baiknya Anda mencoba.

Jika Anda memutuskan untuk mencobanya, beri tahu saya jika Anda memiliki masukan.

Jika Anda berada di shell dan ingin menyalin banyak file tetapi tidak semua file: s3cmd cp --recursive s3: // BUCKET1 / OBJECT1 s3: // BUCKET2 [/ OBJECT2]

Saya menulis skrip yang mencadangkan bucket S3: https://github.com/roseperrone/aws-backup-rake-task

#!/usr/bin/env python
from boto.s3.connection import S3Connection
import re
import datetime
import sys
import time

def main():
    s3_ID = sys.argv[1]
    s3_key = sys.argv[2]
    src_bucket_name = sys.argv[3]
    num_backup_buckets = sys.argv[4]
    connection = S3Connection(s3_ID, s3_key)
    delete_oldest_backup_buckets(connection, num_backup_buckets)
    backup(connection, src_bucket_name)

def delete_oldest_backup_buckets(connection, num_backup_buckets):
    """Deletes the oldest backup buckets such that only the newest NUM_BACKUP_BUCKETS - 1 buckets remain."""
    buckets = connection.get_all_buckets() # returns a list of bucket objects
    num_buckets = len(buckets)

    backup_bucket_names = []
    for bucket in buckets:
        if (re.search('backup-' + r'\d{4}-\d{2}-\d{2}' , bucket.name)):
            backup_bucket_names.append(bucket.name)

    backup_bucket_names.sort(key=lambda x: datetime.datetime.strptime(x[len('backup-'):17], '%Y-%m-%d').date())

    # The buckets are sorted latest to earliest, so we want to keep the last NUM_BACKUP_BUCKETS - 1
    delete = len(backup_bucket_names) - (int(num_backup_buckets) - 1)
    if delete <= 0:
        return

    for i in range(0, delete):
        print 'Deleting the backup bucket, ' + backup_bucket_names[i]
        connection.delete_bucket(backup_bucket_names[i])

def backup(connection, src_bucket_name):
    now = datetime.datetime.now()
    # the month and day must be zero-filled
    new_backup_bucket_name = 'backup-' + str('%02d' % now.year) + '-' + str('%02d' % now.month) + '-' + str(now.day);
    print "Creating new bucket " + new_backup_bucket_name
    new_backup_bucket = connection.create_bucket(new_backup_bucket_name)
    copy_bucket(src_bucket_name, new_backup_bucket_name, connection)


def copy_bucket(src_bucket_name, dst_bucket_name, connection, maximum_keys = 100):
    src_bucket = connection.get_bucket(src_bucket_name);
    dst_bucket = connection.get_bucket(dst_bucket_name);

    result_marker = ''
    while True:
        keys = src_bucket.get_all_keys(max_keys = maximum_keys, marker = result_marker)

        for k in keys:
            print 'Copying ' + k.key + ' from ' + src_bucket_name + ' to ' + dst_bucket_name

            t0 = time.clock()
            dst_bucket.copy_key(k.key, src_bucket_name, k.key)
            print time.clock() - t0, ' seconds'

        if len(keys) < maximum_keys:
            print 'Done backing up.'
            break

        result_marker = keys[maximum_keys - 1].key

if  __name__ =='__main__':main()

Saya menggunakan ini dalam tugas menyapu (untuk aplikasi Rails):

desc "Back up a file onto S3"
task :backup do
     S3ID = "AKIAJM3NRWC7STXWUWVQ"
     S3KEY = "0A5kuzV+E1dkaPjZxHQAezz1GlSddJd0iS5sNpry"
     SRCBUCKET = "primary-mzgd"
     NUM_BACKUP_BUCKETS = 2

     Dir.chdir("#{Rails.root}/lib/tasks")
     system "./do_backup.py #{S3ID} #{S3KEY} #{SRCBUCKET} #{NUM_BACKUP_BUCKETS}"
end

Saya mendengar ada modul node untuk itu jika Anda menyukai javascript: p

Dari dokumen knox-copy :

knoxCopy = require 'knox-copy'

client = knoxCopy.createClient
  key: '<api-key-here>'
  secret: '<secret-here>'
  bucket: 'backups'

client.copyBucket
  fromBucket: 'uploads'
  fromPrefix: '/nom-nom'
  toPrefix: "/upload_backups/#{new Date().toISOString()}"
  (err, count) ->
     console.log "Copied #{count} files"

Saya diberitahu bahwa Anda juga dapat melakukan ini menggunakan s3distcp pada cluster EMR. Ini seharusnya lebih cepat untuk data yang berisi file besar. Ini berfungsi cukup baik pada kumpulan data kecil - tetapi saya lebih suka solusi lain mengingat kurva pembelajaran yang diperlukan untuk menyiapkan data yang sangat sedikit (saya belum pernah bekerja dengan EMR sebelumnya).

Berikut tautan dari Dokumentasi AWS: http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/UsingEMR_s3distcp.html

Pembaruan: Untuk kumpulan data yang sama, s3s3mirror jauh lebih cepat daripada s3distcp atau AWS cli. Jauh lebih mudah untuk disiapkan juga.

Untuk menyalin dari satu bucket S3 ke bucket S3 yang sama atau lainnya tanpa mengunduh ke lokal, itu cukup sederhana. Gunakan perintah shell di bawah ini.

hdfs dfs -cp -f "s3://AccessKey:SecurityKey@ExternalBucket/SourceFoldername/*.*" "s3://AccessKey:SecurityKey@ExternalBucket/TargetFoldername"

Ini akan menyalin semua file dari SourceFoldernamefolder keranjang sumber ke folder keranjang target TargetFoldername. Pada kode di atas, harap ganti AccessKey, SecurityKeydan ExternalBucketdengan nilai Anda yang sesuai.

dari AWS cli https://aws.amazon.com/cli/ bisa Anda lakukan

aws s3 ls - Ini akan mencantumkan semua bucket S3

aws cp --recursive s3://<source bucket> s3://<destination bucket> - Ini akan menyalin file dari satu wadah ke wadah lain

Catatan * Sangat berguna saat membuat keranjang replikasi lintas wilayah, dengan melakukan hal di atas, semua file Anda terlacak dan pembaruan ke file wilayah sumber akan disebarkan ke keranjang yang direplikasi. Semuanya kecuali penghapusan file disinkronkan.

Untuk CRR, pastikan Anda telah mengaktifkan pembuatan versi di bucket.

Bagaimana dengan aws s3 syncperintah cli. aws s3 sync s3: // bucket1 / s3: // bucket2 /

Seperti yang dijelaskan Neel Bhaat di blog ini , ada banyak alat berbeda yang dapat digunakan untuk tujuan ini. Beberapa di antaranya disediakan AWS, di mana sebagian besar adalah alat pihak ketiga. Semua alat ini mengharuskan Anda untuk menyimpan kunci dan rahasia akun AWS Anda di alat itu sendiri. Berhati-hatilah saat menggunakan alat pihak ketiga, karena kredensial yang Anda simpan mungkin membebani Anda, seluruh nilai Anda, dan membuat Anda mati.

Oleh karena itu, saya selalu merekomendasikan penggunaan AWS CLI untuk tujuan ini. Anda cukup menginstal ini dari tautan ini . Selanjutnya, jalankan perintah berikut dan simpan kunci Anda, nilai rahasia di AWS CLI.

aws configure

Dan gunakan perintah berikut untuk menyinkronkan AWS S3 Bucket Anda ke mesin lokal Anda. (Mesin lokal harus menginstal AWS CLI)

aws s3 sync <source> <destination>

Contoh:

1) Untuk AWS S3 ke Penyimpanan Lokal

aws s3 sync <S3Uri> <LocalPath>

2) Dari Penyimpanan Lokal ke AWS S3

aws s3 sync <LocalPath> <S3Uri>

3) Dari ember AWS s3 ke ember lain

aws s3 sync <S3Uri> <S3Uri> 

Cara terbaik untuk menyalin bucket S3 menggunakan AWS CLI .

Ini melibatkan 3 langkah ini:

1. Menginstal AWS CLI di server Anda.

**https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-install.html**

2. Jika Anda menyalin keranjang di antara dua akun AWS, Anda perlu melampirkan kebijakan yang benar dengan setiap keranjang.

3. Setelah ini gunakan perintah ini untuk menyalin dari satu wadah ke wadah lain.

aws s3 sync s3://sourcebucket s3://destinationbucket

Rincian langkah 2 dan langkah 3 diberikan di tautan ini:

https://aws.amazon.com/premiumsupport/knowledge-center/account-transfer-s3/

Anda dapat menulis Aplikasi Java - bahkan mungkin Aplikasi GUI SWING yang menggunakan API Java AWS Untuk menyalin objek, lihat -

https://github.com/awsdocs/aws-doc-sdk-examples/blob/master/javav2/example_code/s3/src/main/java/com/example/s3/CopyObject.java