Katakanlah saya memiliki mesin yang saya inginkan untuk dapat menulis ke file log tertentu yang disimpan di bucket S3.

Jadi, mesin harus memiliki kemampuan menulis ke keranjang itu, tetapi, saya tidak ingin mesin memiliki kemampuan untuk menimpa atau menghapus file apa pun di keranjang itu (termasuk yang saya inginkan untuk menuliskannya).

Jadi pada dasarnya, saya ingin mesin saya hanya dapat menambahkan data ke file log itu, tanpa menimpa atau mengunduhnya.

Apakah ada cara untuk mengkonfigurasi S3 saya agar berfungsi seperti itu? Mungkin ada beberapa kebijakan IAM yang dapat saya lampirkan sehingga akan berfungsi seperti yang saya inginkan?

Sayangnya, Anda tidak bisa.

S3 tidak memiliki operasi "tambahkan". ^* Setelah sebuah objek diunggah, tidak ada cara untuk mengubahnya; satu-satunya pilihan Anda adalah mengunggah objek baru untuk menggantikannya, yang tidak memenuhi kebutuhan Anda.

*: Ya, saya tahu posting ini berumur beberapa tahun. Ini masih akurat.

Seperti yang dinyatakan oleh jawaban yang diterima, Anda tidak bisa. Solusi terbaik yang saya ketahui adalah menggunakan:

AWS Kinesis Firehose

https://aws.amazon.com/kinesis/firehose/

Sampel kode mereka terlihat rumit tetapi sampel Anda bisa sangat sederhana. Anda terus melakukan operasi PUT (atau BATCH PUT) ke aliran pengiriman Kinesis Firehose di aplikasi Anda (menggunakan AWS SDK), dan Anda mengonfigurasi aliran pengiriman Kinesis Firehose untuk mengirim data Anda yang dialirkan ke ember AWS S3 pilihan Anda (di Konsol AWS Kinesis Firehose).

Ini masih tidak senyaman >>dari baris perintah Linux, karena setelah Anda membuat file di S3, Anda harus berurusan lagi dengan mengunduh, menambahkan, dan mengunggah file baru tetapi Anda hanya perlu melakukannya sekali per kumpulan baris. daripada untuk setiap baris data sehingga Anda tidak perlu khawatir tentang biaya besar karena volume operasi penambahan. Mungkin itu bisa dilakukan tapi saya tidak bisa melihat bagaimana melakukannya dari konsol.

Objek di S3 tidak dapat ditambahkan. Anda memiliki 2 solusi dalam kasus ini:

1. salin semua data S3 ke objek baru, tambahkan konten baru dan tulis kembali ke S3.

function writeToS3(input) {
    var content;
    var getParams = {
        Bucket: 'myBucket', 
        Key: "myKey"
    };

    s3.getObject(getParams, function(err, data) {
        if (err) console.log(err, err.stack);
        else {
            content = new Buffer(data.Body).toString("utf8");
            content = content + '\n' + new Date() + '\t' + input;
            var putParams = {
                Body: content,
                Bucket: 'myBucket', 
                Key: "myKey",
                ACL: "public-read"
             };

            s3.putObject(putParams, function(err, data) {
                if (err) console.log(err, err.stack); // an error occurred
                else     {
                    console.log(data);           // successful response
                }
             });
        }
    });  
}

2. Pilihan kedua adalah menggunakan Kinesis Firehose. Ini cukup mudah. Anda perlu membuat aliran pengiriman firehose dan menautkan tujuan ke bucket S3. Itu dia!

function writeToS3(input) {
    var content = "\n" + new Date() + "\t" + input;
    var params = {
      DeliveryStreamName: 'myDeliveryStream', /* required */
      Record: { /* required */
        Data: new Buffer(content) || 'STRING_VALUE' /* Strings will be Base-64 encoded on your behalf */ /* required */
      }
    };

    firehose.putRecord(params, function(err, data) {
      if (err) console.log(err, err.stack); // an error occurred
      else     console.log(data);           // successful response
    }); 
}

Seperti yang telah dinyatakan orang lain sebelumnya, objek S3 tidak dapat ditambahkan.
Namun, solusi lain adalah menulis ke log CloudWatch dan kemudian mengekspor log yang Anda inginkan ke S3 . Ini juga akan mencegah penyerang yang mengakses server Anda untuk menghapus dari bucket S3 Anda, karena Lambda tidak memerlukan izin S3 apa pun.

Jika ada yang ingin menambahkan data ke objek dengan layanan seperti S3, Alibaba Cloud OSS (Object Storage Service) mendukung ini secara native .

OSS menyediakan upload append (melalui AppendObject API), yang memungkinkan Anda untuk langsung menambahkan konten ke akhir objek. Objek yang diunggah dengan metode ini adalah objek yang dapat ditambahkan, sedangkan objek yang diunggah dengan metode lain adalah objek normal. Data yang ditambahkan langsung dapat dibaca.

Saya memiliki masalah serupa dan inilah yang saya tanyakan

cara Menambahkan data dalam file menggunakan AWS Lambda

Inilah yang saya temukan untuk memecahkan masalah di atas:

Gunakan getObject untuk mengambil dari file yang sudah ada

   s3.getObject(getParams, function(err, data) {
   if (err) console.log(err, err.stack); // an error occurred
   else{
       console.log(data);           // successful response
       var s3Projects = JSON.parse(data.Body);
       console.log('s3 data==>', s3Projects);
       if(s3Projects.length > 0) {
           projects = s3Projects;
       }   
   }
   projects.push(event);
   writeToS3(); // Calling function to append the data
});

Tulis fungsi untuk ditambahkan ke file

   function writeToS3() {
    var putParams = {
      Body: JSON.stringify(projects),
      Bucket: bucketPath, 
      Key: "projects.json",
      ACL: "public-read"
     };

    s3.putObject(putParams, function(err, data) {
       if (err) console.log(err, err.stack); // an error occurred
       else     console.log(data);           // successful response
        callback(null, 'Hello from Lambda');
     });
}

Semoga bantuan ini !!