Pertanyaan yang diberi tag «large-datasets»

Saya memiliki CSV yang berisi 200 juta pengamatan dengan format berikut: id,x1,y1,x2,y2,day,color 1,"-105.4652334","39.2586939","-105.4321296","39.2236632","Monday","Black" 2,"-105.3224523","39.1323299","-105.4439944","39.3352235","Tuesday","Green" 3,"-104.4233452","39.0234355","-105.4643990","39.1223435","Wednesday","Blue" Untuk setiap set koordinat (x1 / y1 dan x2 / y2), saya ingin menetapkan Blok Sensus AS atau Blok Sensus yang termasuk di dalamnya (Saya mengunduh traktus TIGER traktus sensus TIGER di sini: ftp://ftp2.census.gov/ geo …

35 postgis  spatialite  point-in-polygon  large-datasets  optimization 

Apakah ada database gratis atau dengan harga terjangkau untuk AS yang dapat dicari dan mengembalikan informasi garis lintang dan bujur?

34 geocoding  large-datasets 

Seringkali saya menemukan diri saya dalam situasi di mana saya tidak peduli apakah alat saya menghasilkan kelas fitur baru atau tidak, tetapi saya peduli berapa lama waktu yang diperlukan untuk menggabungkan semua set data besar saya. Apakah perlu waktu lebih lama untuk menghasilkan kelas fitur baru menggunakan alat Gabung alih-alih …

12 arcgis-desktop  arcgis-10.0  merge  performance  large-datasets 

Saya memiliki satu set besar titik data yang pada dasarnya mewakili garis pantai dunia. Saya tidak tahu resolusi persisnya tetapi saya akan mengatakan itu berada di sekitar 5-10m. Bayangkan satu set poin yang mewakili garis pantai yang bergerigi. Pada resolusi 1m, kita melihat semua detail dan membutuhkan 50 titik data …

12 vector  algorithm  scale  generalization  large-datasets 

Untuk "tujuan menyewa", saya harus menentukan sumber daya komputasi yang saya butuhkan dari pusat komputasi di Universitas saya. Saya tidak tahu apa yang harus saya tanyakan. Mempertimbangkan informasi di bawah ini, bisakah Anda menyarankan sesuatu? Ini adalah cluster komputasi: "Server sepuluh blade dengan masing-masing blade terdiri dari 2 Quad Core …

9 large-datasets  hardware-recommendations 

Saya memiliki cloud titik besar (file LAS) dan saya mencoba untuk mengencerkan ini menggunakan teknik yang kompleks. Saya tahu adalah mungkin untuk mengencerkan cloud titik menggunakan teknik sederhana seperti mengekstraksi setiap titik ke- n . Namun titik cloud tempat saya bekerja lebih padat di beberapa area dan kurang padat di …

8 lidar  software-recommendations  large-datasets  las  point-cloud 

Bagaimana raster dapat dihitung secara efisien (dengan Python), diberikan satu set yang terdiri dari milyaran kotak pembatas (dibaca berurutan dari sebuah file), dan mengingat bahwa nilai-nilai raster untuk setiap sel harus memberikan jumlah kotak pembatas yang tumpang tindih? Untuk raster 4000 * 4000 Saya sudah menghitung waktu pembuatan numpy matrix: …

8 raster  polygon  extents  large-datasets  heat-map 

Masalah yang saya hadapi memiliki latar belakang sebagai berikut: Kami melakukan geocoding pada direktori catatan yang sangat luas. Ini adalah sesuatu yang melebihi 100 juta alamat. Saya telah membagi alamat menjadi alasan geografis sekecil yang saya rasa layak, menyatakan. Meski begitu, satu negara dapat memiliki lebih dari 5 juta catatan …

8 arcgis-10.0  geoprocessing  geocoding  large-datasets 

Saya memiliki satu set situs dalam ribuan. Tidak semua pengguna melihat Situs yang sama di peta - dengan demikian ACL. Data disimpan dalam database non-GIS (mssql, ora, dll) dan sekarang diambil dengan query SQL standar dan dikembalikan ke klien (OpenLayers) dengan JSP. Kode saat ini sudah dioptimalkan untuk melakukan pengelompokan …

8 openlayers-2  wms  security  large-datasets 

Saya memiliki permintaan PostGIS yang akan mengembalikan beberapa juta baris: SELECT t1.id AS id1, t2.id AS id2, ABS(t1.mean_h - t2.mean_h) AS h_diff, ST_Distance(t1.the_geom, t2.the_geom) AS dist FROM tas_ponds as t1, tas_ponds as t2 WHERE (t1.gid > t2.gid) AND ST_DWithin(t1.the_geom, t2.the_geom, 17000) Saat dijalankan psql, saya mendapatkan out of memory for …

8 postgis  sql  large-datasets