Di boto 2, Anda dapat menulis ke objek S3 menggunakan metode ini:

• Key.set_contents_from_string ()
• Key.set_contents_from_file ()
• Key.set_contents_from_filename ()
• Key.set_contents_from_stream ()

Apakah ada boto 3 yang setara? Apa metode boto3 untuk menyimpan data ke objek yang disimpan di S3?

Di boto 3, metode 'Key.set_contents_from_' diganti dengan

• Object.put ()

• Client.put_object ()

Sebagai contoh:

import boto3

some_binary_data = b'Here we have some data'
more_binary_data = b'Here we have some more data'

# Method 1: Object.put()
s3 = boto3.resource('s3')
object = s3.Object('my_bucket_name', 'my/key/including/filename.txt')
object.put(Body=some_binary_data)

# Method 2: Client.put_object()
client = boto3.client('s3')
client.put_object(Body=more_binary_data, Bucket='my_bucket_name', Key='my/key/including/anotherfilename.txt')

Sebagai alternatif, data biner dapat berasal dari membaca file, seperti yang dijelaskan dalam dokumen resmi yang membandingkan boto 2 dan boto 3 :

Menyimpan Data

Menyimpan data dari file, aliran, atau string itu mudah:

# Boto 2.x
from boto.s3.key import Key
key = Key('hello.txt')
key.set_contents_from_file('/tmp/hello.txt')

# Boto 3
s3.Object('mybucket', 'hello.txt').put(Body=open('/tmp/hello.txt', 'rb'))

boto3 juga memiliki metode untuk mengunggah file secara langsung:

s3.Bucket('bucketname').upload_file('/local/file/here.txt','folder/sub/path/to/s3key')

http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Bucket.upload_file

Anda tidak lagi harus mengonversi konten ke biner sebelum menulis ke file di S3. Contoh berikut membuat file teks baru (disebut newfile.txt) di bucket S3 dengan konten string:

import boto3

s3 = boto3.resource(
    's3',
    region_name='us-east-1',
    aws_access_key_id=KEY_ID,
    aws_secret_access_key=ACCESS_KEY
)
content="String content to write to a new S3 file"
s3.Object('my-bucket-name', 'newfile.txt').put(Body=content)

Inilah trik bagus untuk membaca JSON dari s3:

import json, boto3
s3 = boto3.resource("s3").Bucket("bucket")
json.load_s3 = lambda f: json.load(s3.Object(key=f).get()["Body"])
json.dump_s3 = lambda obj, f: s3.Object(key=f).put(Body=json.dumps(obj))

Sekarang Anda dapat menggunakan json.load_s3dan json.dump_s3dengan API yang sama dengan loaddandump

data = {"test":0}
json.dump_s3(data, "key") # saves json to s3://bucket/key
data = json.load_s3("key") # read json from s3://bucket/key

Versi yang lebih bersih dan ringkas yang saya gunakan untuk mengunggah file dengan cepat ke bucket dan sub-folder S3 tertentu-

import boto3

BUCKET_NAME = 'sample_bucket_name'
PREFIX = 'sub-folder/'

s3 = boto3.resource('s3')

# Creating an empty file called "_DONE" and putting it in the S3 bucket
s3.Object(BUCKET_NAME, PREFIX + '_DONE').put(Body="")

Catatan : Anda harus SELALU meletakkan kredensial AWS Anda ( aws_access_key_iddan aws_secret_access_key) di file terpisah, misalnya-~/.aws/credentials

perlu menyebutkan smart-open yang digunakan boto3sebagai back-end.

smart-openadalah pengganti drop-in untuk python openyang dapat membuka file dari s3, serta ftp, httpdan banyak protokol lainnya.

sebagai contoh

from smart_open import open
import json
with open("s3://your_bucket/your_key.json", 'r') as f:
    data = json.load(f)

Kredensial aws dimuat melalui kredensial boto3 , biasanya file di ~/.aws/dir atau variabel lingkungan.

Anda dapat menggunakan kode di bawah ini untuk menulis, misalnya gambar ke S3 pada tahun 2019. Untuk dapat terhubung ke S3 Anda harus menginstal AWS CLI menggunakan perintah pip install awscli, lalu masukkan beberapa kredensial menggunakan perintah aws configure:

import urllib3
import uuid
from pathlib import Path
from io import BytesIO
from errors import custom_exceptions as cex

BUCKET_NAME = "xxx.yyy.zzz"
POSTERS_BASE_PATH = "assets/wallcontent"
CLOUDFRONT_BASE_URL = "https://xxx.cloudfront.net/"


class S3(object):
    def __init__(self):
        self.client = boto3.client('s3')
        self.bucket_name = BUCKET_NAME
        self.posters_base_path = POSTERS_BASE_PATH

    def __download_image(self, url):
        manager = urllib3.PoolManager()
        try:
            res = manager.request('GET', url)
        except Exception:
            print("Could not download the image from URL: ", url)
            raise cex.ImageDownloadFailed
        return BytesIO(res.data)  # any file-like object that implements read()

    def upload_image(self, url):
        try:
            image_file = self.__download_image(url)
        except cex.ImageDownloadFailed:
            raise cex.ImageUploadFailed

        extension = Path(url).suffix
        id = uuid.uuid1().hex + extension
        final_path = self.posters_base_path + "/" + id
        try:
            self.client.upload_fileobj(image_file,
                                       self.bucket_name,
                                       final_path
                                       )
        except Exception:
            print("Image Upload Error for URL: ", url)
            raise cex.ImageUploadFailed

        return CLOUDFRONT_BASE_URL + id