Geoserver dengan ember s3 Amazon

Saya memiliki Apache yang menjalankan Geoserver pada instance virtual saya, dan saya bertanya-tanya apakah direktori data Geoserver dapat mengarah ke bucket Amazon S3. Apakah ini mungkin? Bagaimana ini mempengaruhi kinerja?

Jika S3 adalah pengaturan yang buruk untuk direktori data Geoserver, apakah ada saran untuk menambahkan sejumlah besar data ke direktori data Geoserver saya? Direktori data dapat mencapai 100-an GB, mungkin lebih. Haruskah saya mendapatkan server dengan hard drive besar, atau terhubung ke solusi yang lebih skalabel, seperti ember Amazon S3?

geoserver amazon-s3

— modulitos
sumber

Apa datanya? Saya kira pencitraan, tetapi apakah Anda sudah memasangnya? Mungkin beberapa basis data untuk kemenangan raster :-)

— BradHards

Jika data Anda raster dan akan dibaca dan diproses untuk WMS S3 interaktif mungkin mati lambat. Petunjuk dari pengalaman masa lalu, Anda mungkin ingin melihat glusterfs + EBS.

— simogeo

Saya memiliki minat dalam menggunakan S3 sebagai keranjang data bersama untuk armada GeoServers yang dapat diukur secara horizontal dan elastis. Saat ini saya sedang menyelidiki penggunaan S3Fuse untuk memasang sistem file untuk ini. Akan sangat bagus untuk mendengar keberhasilan / kegagalan lain di bidang ini.

— 8bitjunkie

Adakah pengalaman dalam hal ini?

— geogeek

Jawaban:

Menunjuk "langsung" ke bucket S3 (misalnya menggunakan s3fs) adalah "mungkin" ide yang buruk. misal /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBS hampir pasti merupakan tempat yang tepat untuk menyimpan data untuk diakses oleh GeoServer.

100 GB sangat mudah dikelola dengan standar EBS. (Ukuran volume maksimum adalah 16 Terabyte!)

Saya mungkin menyarankan untuk menyimpan data asli dalam S3 dan kemudian mereplikasi ke instans Anda sesuai kebutuhan, menggunakan alat AWS CLI untuk menyinkronkan konten folder S3 ke instance lokal Anda dengan satu perintah. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). S3 bisa dibilang berlebihan, tapi saya menemukan itu menambah fleksibilitas dan kenyamanan.

Catatan: Jika Anda berencana untuk menggunakan instance multi-core yang besar DAN Anda tahu volume data tidak akan tumbuh secara tak terduga DAN Anda dapat membuat instance secara otomatis, Anda sebenarnya dapat mempertimbangkan untuk menggunakan penyimpanan instance ("penyimpanan sementara" ) karena data asli Anda akan aman dalam S3, Anda dapat menghemat biaya EBS, dan penyimpanan contoh bisa sedikit lebih cepat daripada EBS dalam beberapa kasus.

— python1981
sumber

Ini jawaban yang komprehensif. Boundless punya sedikit info di sini: boundlessgeo.com/2013/04/…

— Alex Leith

apa yang Anda gunakan untuk meluncurkan perintah AWS dari pyQGIS? Sedang diproses. boto3 tampaknya tidak berjalan. Ini berjalan di shell Osgeo dengan python2 tetapi tidak 3 ...

— Leo

Apakah ini mungkin: Ini dapat dengan mudah dicapai untuk data yang sesuai dengan format GeoTIFF menggunakan modul Geoserver s3 untuk Geotiff Community - https://docs.geoserver.org/latest/en/user/community/s3-geotiff/index .html

Bagaimana ini mempengaruhi kinerja? Ini sulit untuk dijawab, namun, saya telah menemukan kinerja kira-kira setara dengan penyimpanan EBS / EFS di sebagian kecil dari harga.

— nstillwell
sumber