Memperbarui
S3 sekarang menawarkan Layanan Gateway SFTP yang dikelola sepenuhnya untuk S3 yang terintegrasi dengan IAM dan dapat dikelola menggunakan aws-cli.
Ada alasan teoretis dan praktis mengapa ini bukan solusi yang sempurna, tetapi berhasil ...
Anda dapat menginstal layanan FTP / SFTP (seperti proftpd) di server linux, baik di EC2 atau di pusat data Anda sendiri ... kemudian pasang ember ke sistem file tempat server ftp dikonfigurasi untuk chroot, menggunakan s3fs .
Saya punya klien yang menyajikan konten di luar S3, dan konten diberikan kepada mereka oleh pihak ke-3 yang hanya mendukung ftp push ... jadi, dengan sedikit keraguan (karena ketidakcocokan impedansi antara S3 dan sistem file aktual) tetapi kurang saat menulis paket perangkat lunak server gateway FTP / S3 yang tepat (yang saya masih berniat melakukannya hari ini), saya mengusulkan dan menggunakan solusi ini untuk mereka beberapa bulan yang lalu dan mereka belum melaporkan masalah dengan sistem.
Sebagai bonus, karena proftpd dapat chroot setiap pengguna ke direktori home mereka sendiri dan "berpura-pura" (sejauh yang dapat diketahui pengguna) bahwa file yang dimiliki oleh pengguna proftpd sebenarnya dimiliki oleh pengguna yang login, ini memisahkan setiap pengguna ftp ke dalam "subdirektori" dari bucket, dan membuat file pengguna lain tidak dapat diakses.
Namun, ada masalah dengan konfigurasi default.
Setelah Anda mulai mendapatkan beberapa puluh atau ratusan file, masalahnya akan muncul dengan sendirinya ketika Anda menarik daftar direktori, karena ProFTPd akan berusaha membaca .ftpaccessfile berulang-ulang, dan lagi, dan lagi, dan untuk setiap file dalam direktori, .ftpaccessdicentang untuk melihat apakah pengguna harus diizinkan untuk melihatnya.
Anda dapat menonaktifkan perilaku ini di ProFTPd, tetapi saya akan menyarankan bahwa konfigurasi yang paling benar adalah mengonfigurasi opsi tambahan -o enable_noobj_cache -o stat_cache_expire=30di s3fs:
-o stat_cache_expire (default tidak kedaluwarsa)
tentukan waktu kedaluwarsa (detik) untuk entri dalam cache stat
Tanpa opsi ini, Anda akan membuat lebih sedikit permintaan ke S3, tetapi Anda juga tidak akan selalu dapat dengan andal menemukan perubahan yang dilakukan pada objek jika proses eksternal atau instance lain dari s3fs juga memodifikasi objek dalam bucket. Nilai "30" di sistem saya dipilih agak sewenang-wenang.
-o enable_noobj_cache (standar dinonaktifkan)
aktifkan entri cache untuk objek yang tidak ada. s3fs selalu harus memeriksa apakah file (atau sub direktori) ada di bawah objek (path) ketika s3fs melakukan beberapa perintah, karena s3fs telah mengenali direktori yang tidak ada dan memiliki file atau subdirektori di bawahnya sendiri. Ini meningkatkan permintaan ListBucket dan membuat kinerja buruk. Anda dapat menentukan opsi ini untuk kinerja, s3fs menghafal dalam cache stat bahwa objek (file atau direktori) tidak ada.
Opsi ini memungkinkan s3fs untuk mengingat bahwa .ftpaccessitu tidak ada.
Tidak terkait dengan masalah kinerja yang dapat timbul dengan ProFTPd, yang diselesaikan dengan perubahan di atas, Anda juga perlu mengaktifkannya -o enable_content_md5di s3fs.
-o enable_content_md5 (standar dinonaktifkan)
memverifikasi data yang diunggah tanpa multipartai dengan header konten-md5. Aktifkan untuk mengirim tajuk "Content-MD5" saat mengunggah objek tanpa memposting multi-bagian. Jika opsi ini diaktifkan, ia memiliki beberapa pengaruh pada kinerja s3fs ketika mengunggah objek kecil. Karena s3fs selalu memeriksa MD5 saat mengunggah objek besar, opsi ini tidak mempengaruhi objek besar.
Ini adalah opsi yang seharusnya tidak pernah menjadi opsi - itu harus selalu diaktifkan, karena tidak melakukan ini melewati pemeriksaan integritas kritis hanya untuk manfaat kinerja yang dapat diabaikan. Ketika suatu objek diunggah ke S3 dengan Content-MD5:header, S3 akan memvalidasi checksum dan menolak objek jika rusak dalam perjalanan. Namun tidak mungkin itu mungkin, kelihatannya picik untuk menonaktifkan pemeriksaan keamanan ini.
Kutipan berasal dari halaman manual s3fs. Kesalahan tata bahasa ada dalam teks asli.