Pertanyaan yang diberi tag «big-data»

Saya memiliki kode Python yang dirancang untuk mengambil titik shapefile melalui alur kerja berikut: Gabungkan poin Mengintegrasikan poin, sehingga setiap titik dalam 1 m satu sama lain menjadi satu poin Buat layer Fitur, di mana titik dengan z <10 dipilih Poin Buffer Resolusi Polygon to raster 1m Reklasifikasi, di mana …

34 arcpy  geoprocessing  big-data 

Saya harus mengimpor Shapefile besar (> 1 juta catatan) ke PostGIS, dan saya bertanya-tanya tentang cara terbaik untuk melakukannya. Dalam pertanyaan saya, saya menggunakan kata "hack", bukan alat, sengaja karena saya pikir ini bukan masalah alat yang mana, tetapi yang mengatur langkah-langkah, atau pengaturan konfigurasi untuk digunakan. Sejauh ini, saya …

21 postgis  database  big-data 

Saya tertarik mempelajari cara memanfaatkan array NumPy untuk mengoptimalkan geoprocessing. Banyak pekerjaan saya melibatkan "data besar", di mana geoprocessing sering membutuhkan waktu berhari-hari untuk menyelesaikan tugas-tugas tertentu. Tidak perlu dikatakan, saya sangat tertarik dalam mengoptimalkan rutinitas ini. ArcGIS 10.1 memiliki sejumlah fungsi NumPy yang dapat diakses melalui arcpy, termasuk: NumPyArrayToFeatureClass …

16 arcgis-desktop  python  arcpy  numpy  big-data 

Saya tertarik pada metode pembelajaran untuk memanfaatkan sepenuhnya kekuatan pemrosesan multicore yang tersedia di komputer desktop. Arc menyatakan bahwa geoprocessing latar belakang memungkinkan pengguna untuk menggunakan banyak core, namun, tugas-tugas pada dasarnya harus menunggu dalam antrian untuk menyelesaikan tugas sebelumnya. Adakah yang mengembangkan metode geoproses paralel atau multithreaded di Arc …

12 python  arcpy  parallel-processing  big-data 

Saya mencoba untuk klip ECW besar (detail di bawah) tetapi file raster terlalu besar untuk diproses seluruhnya. Beberapa detail ECW di bawah ini Pengemudi: ECW / ERDAS Compressed Wavelets (SDK 5.0) ukuran file: 50gb Ukurannya adalah 450000, 565081 Ukuran piksel: 0,15 0,15 COLORSPACE = RGB COMPRESSION_RATE_TARGET = 9 VERSION = …

9 raster  gdal  clip  ecw  big-data