Saya perhatikan bahwa sepertinya tidak ada pilihan untuk mengunduh seluruh S3 bucket dari AWS Management Console.
Apakah ada cara mudah untuk mengambil semuanya di salah satu ember saya? Saya sedang berpikir tentang membuat folder root publik, menggunakan wgetuntuk mengambil semuanya, dan kemudian menjadikannya pribadi lagi tapi saya tidak tahu apakah ada cara yang lebih mudah.
Jawaban:
Lihat " Referensi Perintah AWS CLI " untuk informasi lebih lanjut.
AWS baru-baru ini merilis Command Line Tools mereka, yang berfungsi seperti boto dan dapat diinstal menggunakan
sudo easy_install awscli
atau
sudo pip install awscli
Setelah diinstal, Anda dapat menjalankan:
aws s3 sync s3://<source_bucket> <local_destination>
Sebagai contoh:
aws s3 sync s3://mybucket .
akan mengunduh semua objek mybucketke direktori saat ini.
Dan akan menampilkan:
download: s3://mybucket/test.txt to test.txt
download: s3://mybucket/test2.txt to test2.txt
Ini akan mengunduh semua file Anda menggunakan sinkronisasi satu arah. Itu tidak akan menghapus file yang ada di direktori Anda saat ini kecuali Anda tentukan , dan itu tidak akan mengubah atau menghapus file apa pun di S3. --delete
Anda juga dapat melakukan bucket S3 ke bucket S3, atau lokal ke sinkronisasi bucket S3.
Lihat dokumentasi dan contoh lainnya .
Sedangkan contoh di atas adalah cara mengunduh ember penuh, Anda juga dapat mengunduh folder secara rekursif dengan melakukan
aws s3 cp s3://BUCKETNAME/PATH/TO/FOLDER LocalFolderName --recursive
Ini akan menginstruksikan CLI untuk mengunduh semua file dan kunci folder secara rekursif dalam PATH/TO/FOLDERdirektori di dalam BUCKETNAMEbucket.
aws configuredan tambahkan Anda access keydan secret access keyyang dapat ditemukan di sini .
s3cmddan Cyberduck, tetapi bagi saya awsclisejauh ini adalah cara tercepat untuk mengunduh ~ 70.000 file dari ember saya.
aws s3 syncPerintah itu tidak akan mengunggah apa pun, tetapi itu akan menghapus file secara lokal jika tidak ada pada S3. Lihat dokumentasi .
Anda dapat menggunakan s3cmduntuk mengunduh ember Anda:
s3cmd --configure
s3cmd sync s3://bucketnamehere/folder /destination/folder
Ada alat lain yang bisa Anda gunakan disebut rclone. Ini adalah contoh kode dalam dokumentasi Rclone:
rclone sync /home/local/directory remote:bucket
Saya telah menggunakan beberapa metode berbeda untuk menyalin data Amazon S3 ke mesin lokal, termasuk s3cmd, dan sejauh ini yang paling mudah adalah Cyberduck .
Yang perlu Anda lakukan adalah memasukkan kredensial Amazon Anda dan menggunakan antarmuka sederhana untuk mengunduh, mengunggah, menyinkronkan semua ember, folder, atau file Anda.
Anda memiliki banyak opsi untuk melakukan itu, tetapi yang terbaik adalah menggunakan AWS CLI.
Inilah langkah-langkahnya:
Unduh dan pasang AWS CLI di mesin Anda:
Konfigurasikan AWS CLI:
Pastikan Anda memasukkan akses yang valid dan kunci rahasia , yang Anda terima saat membuat akun.
Sinkronkan bucket S3 menggunakan:
aws s3 sync s3://yourbucket /local/path
Pada perintah di atas, ganti bidang-bidang berikut:
yourbucket >> ember S3 Anda yang ingin Anda unduh./local/path >> path di sistem lokal Anda di mana Anda ingin mengunduh semua file.s3://awalan itu dalam nama bucket !!! Dengan aws s3 lsAnda tidak perlu s3://awalan itu tetapi Anda perlu untuk cpperintah.
Untuk mengunduh menggunakan AWS S3 CLI:
aws s3 cp s3://WholeBucket LocalFolder --recursive
aws s3 cp s3://Bucket/Folder LocalFolder --recursive
Untuk mengunduh menggunakan kode, gunakan AWS SDK.
Untuk mengunduh menggunakan GUI, gunakan Cyberduck.
aws s3 cp s3://my-bucket-name ./local-folder --recursive --include "*" --exclude "excludeFolder/*" --exclude "includeFolder/excludeFile.txt"
Untuk Windows, S3 Browser adalah cara termudah yang saya temukan. Ini adalah perangkat lunak yang sangat baik, dan gratis untuk penggunaan non-komersial.
Jika Anda menggunakan Visual Studio, unduh " AWS Toolkit untuk Visual Studio ".
Setelah diinstal, buka Visual Studio - AWS Explorer - S3 - Ember Anda - Klik dua kali
Di jendela Anda akan dapat memilih semua file. Klik kanan dan unduh file.
Jawaban oleh @Layke bagus, tetapi jika Anda memiliki banyak data dan tidak ingin menunggu selamanya, Anda harus membaca " Konfigurasi AWS CLI S3 ".
Perintah berikut akan memberi tahu AWS CLI untuk menggunakan 1.000 utas untuk menjalankan pekerjaan (masing-masing file kecil atau satu bagian dari salinan multi-bagian) dan melihat ke depan 100.000 pekerjaan:
aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000
Setelah menjalankan ini, Anda dapat menggunakan syncperintah sederhana :
aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path
atau
aws s3 sync s3://source-bucket/source-path c:\my\local\data\path
Pada sistem dengan core CPU 4 dan RAM 16GB, untuk kasus seperti milikku (file 3-50GB) kecepatan sinkronisasi / salin meningkat dari sekitar 9,5MiB / dtk menjadi 700 + MiB / dtk, peningkatan kecepatan 70x dari konfigurasi default.
Saya telah melakukan sedikit pengembangan untuk S3 dan saya belum menemukan cara sederhana untuk mengunduh seluruh bucket.
Jika Anda ingin kode di Java, jets3t lib mudah digunakan untuk membuat daftar bucket dan beralih ke daftar itu untuk mengunduhnya.
Pertama, dapatkan set kunci privat publik dari aturan manajemen AWS sehingga Anda dapat membuat objek layanan S3:
AWSCredentials awsCredentials = new AWSCredentials(YourAccessKey, YourAwsSecretKey);
s3Service = new RestS3Service(awsCredentials);
Lalu, dapatkan larik benda ember Anda:
S3Object[] objects = s3Service.listObjects(YourBucketNameString);
Terakhir, ulangi larik itu untuk mengunduh objek satu per satu dengan:
S3Object obj = s3Service.getObject(bucket, fileName);
file = obj.getDataInputStream();
Saya memasukkan kode koneksi ke threadsafe singleton. Sintaks coba / tangkap yang diperlukan telah dihilangkan karena alasan yang jelas.
Jika Anda lebih suka kode dalam Python, Anda bisa menggunakan Boto sebagai gantinya.
Setelah melihat-lihat BucketExplorer, " Mengunduh seluruh bucket " dapat melakukan apa yang Anda inginkan.
AWS sdk API hanya akan opsi terbaik untuk mengunggah seluruh folder dan repo ke s3 dan mengunduh seluruh ember s3 ke lokal.
Untuk mengunggah seluruh folder ke s3
aws s3 sync . s3://BucketName
untuk mengunduh seluruh ember s3 secara lokal
aws s3 sync s3://BucketName .
Anda juga dapat menetapkan path Seperti BucketName / Path untuk folder tertentu di s3 untuk diunduh
Anda dapat melakukan ini dengan https://github.com/minio/mc :
mc cp -r https://s3-us-west-2.amazonaws.com/bucketName/ localdir
mc juga mendukung sesi, unduhan yang dapat dilanjutkan, unggah dan banyak lagi. mcmendukung sistem operasi Linux, OS X dan Windows. Ditulis dalam Golang dan dirilis di bawah Apache Versi 2.0.
Jika Anda menggunakan Firefox dengan S3Fox, itu TIDAK memungkinkan Anda memilih semua file (shift-pilih pertama dan terakhir) dan klik kanan dan unduh semua ... Saya sudah melakukannya dengan 500+ file tanpa masalah
Ketika di Windows, alat GUI pilihan saya untuk ini adalah Cloudberry Explorer untuk S3., Http://www.cloudberrylab.com/free-amazon-s3-explorer-cloudfront-IAM.aspx . Memiliki file explorer yang cukup dipoles, antarmuka seperti ftp.
Jika Anda hanya memiliki file di sana (tanpa subdirektori), solusi cepat adalah memilih semua file ( clickpada yang pertama, Shift+clickyang terakhir) dan tekan Enteratau right clickdan pilih Open. Untuk sebagian besar file data ini akan mengunduhnya langsung ke komputer Anda.
Untuk menambahkan opsi GUI lain, kami menggunakan fungsionalitas WinSCP S3 . Sangat mudah terhubung, hanya membutuhkan kunci akses dan kunci rahasia Anda di UI. Anda kemudian dapat menelusuri dan mengunduh file apa pun yang Anda butuhkan dari keranjang yang dapat diakses, termasuk unduhan berulang folder bersarang.
Karena ini bisa menjadi tantangan untuk menghapus perangkat lunak baru melalui keamanan dan WinSCP cukup lazim, itu bisa sangat bermanfaat untuk hanya menggunakannya daripada mencoba menginstal utilitas yang lebih khusus.
Pengguna Windows perlu mengunduh S3EXPLORER dari tautan ini yang juga memiliki petunjuk pemasangan: - http://s3browser.com/download.aspx
Kemudian memberikan Anda kredensial AWS seperti secretkey, accesskey dan region ke s3explorer, tautan ini berisi instruksi konfigurasi untuk s3explorer: Salin Tempel Tautan di browser: s3browser.com/s3browser-first-run.aspx
Sekarang semua ember s3 Anda akan terlihat di panel kiri s3explorer.
Cukup pilih ember, dan klik menu Bucket di sudut kiri atas, lalu pilih Unduh semua file ke opsi dari menu. Di bawah ini adalah tangkapan layar untuk hal yang sama:
Kemudian telusuri folder untuk mengunduh ember di tempat tertentu
Klik OK dan unduhan Anda akan dimulai.
sinkronisasi aws adalah solusi sempurna. Itu tidak melakukan dua arah .. itu adalah satu arah dari sumber ke tujuan. Juga, jika Anda memiliki banyak item di bucket, sebaiknya buat endpoint s3 terlebih dahulu sehingga unduhan terjadi lebih cepat (karena unduhan tidak terjadi melalui internet tetapi melalui intranet) dan tanpa biaya
Berikut adalah beberapa hal untuk mengunduh semua ember, daftar, daftar isinya.
//connection string
private static void dBConnection() {
app.setAwsCredentials(CONST.getAccessKey(), CONST.getSecretKey());
conn = new AmazonS3Client(app.getAwsCredentials());
app.setListOfBuckets(conn.listBuckets());
System.out.println(CONST.getConnectionSuccessfullMessage());
}
private static void downloadBucket() {
do {
for (S3ObjectSummary objectSummary : app.getS3Object().getObjectSummaries()) {
app.setBucketKey(objectSummary.getKey());
app.setBucketName(objectSummary.getBucketName());
if(objectSummary.getKey().contains(CONST.getDesiredKey())){
//DOWNLOAD
try
{
s3Client = new AmazonS3Client(new ProfileCredentialsProvider());
s3Client.getObject(
new GetObjectRequest(app.getBucketName(),app.getBucketKey()),
new File(app.getDownloadedBucket())
);
} catch (IOException e) {
e.printStackTrace();
}
do
{
if(app.getBackUpExist() == true){
System.out.println("Converting back up file");
app.setCurrentPacsId(objectSummary.getKey());
passIn = app.getDataBaseFile();
CONVERT= new DataConversion(passIn);
System.out.println(CONST.getFileDownloadedMessage());
}
}
while(app.getObjectExist()==true);
if(app.getObjectExist()== false)
{
app.setNoObjectFound(true);
}
}
}
app.setS3Object(conn.listNextBatchOfObjects(app.getS3Object()));
}
while (app.getS3Object().isTruncated());
}
/ ---------------------------- Metode Perpanjangan ------------------- ------------------ /
//Unzip bucket after download
public static void unzipBucket() throws IOException {
unzip = new UnZipBuckets();
unzip.unZipIt(app.getDownloadedBucket());
System.out.println(CONST.getFileUnzippedMessage());
}
//list all S3 buckets
public static void listAllBuckets(){
for (Bucket bucket : app.getListOfBuckets()) {
String bucketName = bucket.getName();
System.out.println(bucketName + "\t" + StringUtils.fromDate(bucket.getCreationDate()));
}
}
//Get the contents from the auto back up bucket
public static void listAllBucketContents(){
do {
for (S3ObjectSummary objectSummary : app.getS3Object().getObjectSummaries()) {
if(objectSummary.getKey().contains(CONST.getDesiredKey())){
System.out.println(objectSummary.getKey() + "\t" + objectSummary.getSize() + "\t" + StringUtils.fromDate(objectSummary.getLastModified()));
app.setBackUpCount(app.getBackUpCount() + 1);
}
}
app.setS3Object(conn.listNextBatchOfObjects(app.getS3Object()));
}
while (app.getS3Object().isTruncated());
System.out.println("There are a total of : " + app.getBackUpCount() + " buckets.");
}
}
Seperti yang dijelaskan Neel Bhaat dalam blog ini , ada banyak alat berbeda yang dapat digunakan untuk tujuan ini. Beberapa disediakan AWS, di mana sebagian besar adalah alat pihak ketiga. Semua alat ini mengharuskan Anda untuk menyimpan kunci dan rahasia akun AWS Anda dalam alat itu sendiri. Berhati-hatilah saat menggunakan alat pihak ketiga, karena kredensial yang Anda simpan mungkin dikenakan biaya, seluruh nilai Anda, dan membuat Anda mati.
Oleh karena itu, saya selalu merekomendasikan menggunakan AWS CLI untuk tujuan ini. Anda cukup menginstal ini dari tautan ini . Selanjutnya, jalankan perintah berikut dan simpan kunci Anda, nilai-nilai rahasia di AWS CLI.
aws configure
Dan gunakan perintah berikut untuk menyinkronkan AWS S3 Bucket Anda ke mesin lokal Anda. (Mesin lokal harus menginstal AWS CLI)
aws s3 sync <source> <destination>
Contoh:
1) Untuk AWS S3 ke Penyimpanan Lokal
aws s3 sync <S3Uri> <LocalPath>
2) Dari Penyimpanan Lokal ke AWS S3
aws s3 sync <LocalPath> <S3Uri>
3) Dari ember AWS s3 ke ember lain
aws s3 sync <S3Uri> <S3Uri>
Jika Anda hanya ingin mengunduh bucket dari AWS, pertama-tama instal AWS CLI di mesin Anda. Di terminal, ubah direktori ke tempat Anda ingin mengunduh file dan jalankan perintah ini.
aws s3 sync s3://bucket-name .
Jika Anda juga ingin menyinkronkan direktori lokal dan s3 (jika Anda menambahkan beberapa file di folder lokal), jalankan perintah ini:
aws s3 sync . s3://bucket-name
AWS CLI adalah opsi terbaik untuk mengunduh seluruh bucket S3 secara lokal.
Instal AWS CLI.
Mengkonfigurasi AWS CLI untuk menggunakan kredensial keamanan default dan Wilayah AWS default.
Untuk mengunduh seluruh perintah bucket S3 gunakan
aws s3 sync s3: // yourbucketname localpath
Referensi untuk menggunakan AWS cli untuk berbagai layanan AWS: https://docs.aws.amazon.com/cli/latest/reference/
Anda dapat menggunakan perintah cli AWS ini untuk mengunduh seluruh konten bucket S3 ke folder lokal
aws s3 sync s3://your-bucket-name "Local Folder Path"
Jika Anda melihat kesalahan seperti ini
fatal error: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)
--no-verifikasi-ssl (boolean)
Secara default, AWS CLI menggunakan SSL saat berkomunikasi dengan layanan AWS. Untuk setiap koneksi SSL, AWS CLI akan memverifikasi sertifikat SSL. Opsi ini mengesampingkan perilaku default memverifikasi sertifikat SSL. referensi
Gunakan tag ini dengan perintah --no-verifikasi-ssl
aws s3 sync s3://your-bucket-name "Local Folder Path" --no-verify-ssl
s3 syncsudah dibahas di atas beberapa kali. + Menyarankan penggunaan --no-verify-ssltanpa menjelaskan konsekuensi keamanannya adalah kejahatan.
Jika bucket cukup besar ada perintah yang disebut s4cmdyang membuat koneksi paralel dan meningkatkan waktu pengunduhan:
Untuk menginstalnya di Debian suka
apt install s4cmd
Jika Anda memiliki pip:
pip install s4cmd
Ini akan membaca ~/.s3cfgfile jika ada (jika tidak menginstal s3cmddan menjalankan s3cmd --configure) atau Anda dapat menentukan --access-key=ACCESS_KEY --secret-key=SECRET_KEYpada perintah.
Cli mirip dengan s3cmd. Dalam kasus Anda a syncdisarankan karena Anda dapat membatalkan unduhan dan mulai lagi tanpa harus mengunduh ulang file.
s4cmd [--access-key=ACCESS_KEY --secret-key=SECRET_KEY] sync s3://<your-bucket> /some/local/dir
Hati-hati jika Anda mengunduh banyak data (> 1TB) ini dapat memengaruhi tagihan Anda, hitung dulu yang akan menjadi biayanya
Seperti yang dikatakan @layke, ini adalah praktik terbaik untuk mengunduh file dari S3 S3, ini adalah aman dan terlindungi. Tetapi dalam beberapa kasus, orang perlu menggunakan wget untuk mengunduh file dan inilah solusinya
aws s3 presign s3://<your_bucket_name/>
Presign ini akan membuat Anda mendapatkan URL publik sementara yang dapat Anda gunakan untuk mengunduh konten dari S3 menggunakan presign_url, dalam kasus Anda menggunakan wget atau klien unduhan lainnya.
Coba perintah ini:
aws s3 sync yourBucketnameDirectory yourLocalDirectory
Misalnya, jika nama ember Anda myBucketdan direktori lokal adalah c:\local, maka:
aws s3 sync s3://myBucket c:\local
Untuk informasi lebih lanjut tentang awscli, periksa instalasi aws cli ini
aws s3 syncadalah yang terbaik. Tapi tak seorang pun menunjukkan pilihan kuat:dryrun. Opsi ini memungkinkan Anda untuk melihat apa yang akan diunduh / diunggah dari / ke s3 saat Anda menggunakansync. Ini sangat membantu ketika Anda tidak ingin menimpa konten baik di lokal atau di ember s3. Beginilah caranya digunakan:aws s3 sync <source> <destination> --dryrunSaya menggunakannya sepanjang waktu sebelum mendorong konten baru ke ember agar tidak mengunggah perubahan yang tidak diinginkan.