Saya mengalami kesulitan memahami tagihan S3 besar saya, dan saya pikir saya akan bertanya di sini sebelum menjatuhkan $ 30 pada dukungan bulanan AWS.

Pada dasarnya, saya memiliki instance Amazon EC2 yang membuat API untuk pertukaran cryptocurrency yang berbeda dan menyimpan tanggapan terhadap instance HD. Panggilan dilakukan setiap 5 menit, objek respons sekitar 100 kb, dibaca oleh skrip R , dan ditambahkan ke file CSV setiap ~ 8 menit. File CSV itu disinkronkan ke bucket Amazon S3 setiap 15 menit.

File CSV biasanya 10 MB atau lebih, selama sekitar 15 cryptocurrency, setiap 15 menit. Jadi mencari di ember Amazon S3, mungkin ada ruang 0,5 GB paling banyak digunakan.

Namun, 'TimedStorage-ByteHours' membaca sekitar 4 TB!

Layanan Penyimpanan Sederhana Amazon TimedStorage-ByteHrs $ 89,55

$ 0,000 per GB - penyimpanan di bawah global free tier5 GB bulanan - Mo $ 0,00

$ 0,023 per GB - 50 TB pertama / bulan penyimpanan digunakan 3.893.399 GB - Mo $ 89,55

Ada ide?

Kemungkinan Anda mengaktifkan Versi S3 - itu artinya benda-benda tua saat ditimpa dengan versi yang lebih baru tidak dihapus tetapi malah disembunyikan dalam riwayat. Untuk memverifikasi pergi ke Bucket -> Properties -> Versioning .

Anda juga dapat melihat versi lama di browser, seperti pada tangkapan layar ini saya punya beberapa versi 108c05...jsonfile:

Jika Anda mengaktifkan versi tetapi tidak ingin, Anda dapat Menangguhkan versi, tetapi perlu diketahui bahwa itu tidak akan menghapus versi lama, Anda harus:

• gunakan AWS-CLI dan beberapa skrip (mulai dengan aws s3api list-object-versions)
• konfigurasikan Kebijakan Siklus Hidup Bucket untuk kedaluwarsa versi lama. Itu dilakukan melalui S3 -> ember -> Manajemen -> Siklus Hidup -> Tambahkan aturan siklus hidup dan kemudian pada layar Kedaluwarsa, isi rincian ini:

Semoga itu bisa membantu :)

Penyimpanan Jarang-Akses memiliki biaya minimum 30 Hari per Item

1. Buka https://s3.console.aws.amazon.com dan dapatkan daftar file untuk salah satu ember Anda.
2. Perhatikan bahwa setiap file dalam ember memiliki kelas penyimpanan. Pilihan kelas penyimpanan berada di bawah kendali Anda dan memengaruhi biaya.

Standardadalah yang paling mahal, sehingga beberapa orang menggunakan infrequent accessyang memiliki biaya bulanan lebih rendah (~ diskon 50%) per GB yang disimpan sesuai dengan tabel harga. TETAPI, Jarang juga memiliki biaya pengambilan $ 0,01 / GB, jadi hanya menghemat biaya total untuk file yang disimpan setidaknya satu bulan dan diambil kurang dari sekali per bulan. Selain itu, mungkin ada kebijakan daur hidup pada bucket Anda yang mengubah kelas penyimpanan file dari waktu ke waktu, yang dapat memengaruhi ketika periode penyimpanan minimum 30 hari dimulai.

Dalam cetakan kecil, infrequent accessmemiliki biaya minimum 30 hari untuk setiap item yang disimpan.

Sumber: https://aws.amazon.com/s3/pricing/

Catatan kaki pertama, ditandai †

† Penyimpanan Standar-Jarang S3 dan Akses-Jarang S3 S3 One Zone memiliki ukuran objek minimum yang dapat ditagih sebesar 128KB. Benda yang lebih kecil dapat disimpan tetapi akan dikenakan biaya penyimpanan 128KB. S3 Standard-Infrequent Access dan S3 One Zone-Infrequent Access Storage dikenakan biaya untuk durasi penyimpanan minimum 30 hari. Objek yang dihapus, ditimpa, atau dialihkan ke kelas penyimpanan yang berbeda sebelum 30 hari akan dikenakan biaya penggunaan normal ditambah biaya permintaan pro-rata untuk sisa minimum 30 hari. Benda yang disimpan 30 hari atau lebih tidak akan dikenakan biaya permintaan minimum 30 hari

Apa yang mahal tentang Amazon S3, dan Google Cloud Storage juga, adalah biaya jaringan jika data dikirim ke internet publik alih-alih disimpan di cloud perusahaan itu. Biaya jaringan untuk pengambilan satu kali dapat dengan mudah melebihi biaya penyimpanan selama 3-4 bulan. $ 0,09 / GB (Oktober 2018) untuk AWS S3 , $ 0,12 / GB untuk Google Cloud Storage , tingkat penggunaan terendah.

Digital Ocean memiliki lapisan penyimpanan S3 yang kompatibel yang disebut "Spaces" yang mungkin layak untuk dicoba. Beberapa bug telah dilaporkan, dan mungkin diperketat dalam beberapa hal, tetapi harga keseluruhan terlihat menarik dan mungkin "cukup baik" untuk beberapa penggunaan.