Secara efisien membaca dan mengklasifikasi ulang banyak raster di R?

Saya telah ditugaskan untuk membuat analisis kesesuaian kondisi gelombang di Teluk Meksiko. Saya memiliki 2 ribu file raster yang masing-masing sekitar 8 MB (2438 kolom, 1749 baris, ukuran sel 1 km). Parameter dalam file raster adalah periode gelombang dan saya ingin mengklasifikasi ulang semua raster sehingga jika 4<= wave period <=9 then make cell = 1, sel lain = 0. Kemudian jumlah semua raster menjadi raster terakhir dan bagi dengan jumlah total raster untuk memberikan persentase total pengamatan yang sesuai dan hasil ekspor ke dalam beberapa format yang kompatibel dengan ESRI ... mungkin sesuatu yang dapat mendukung pelampung jika perlu. Saya tidak bekerja sama sekali dengan Python atau R, tetapi setelah mencari online sepertinya masuk akal untuk melakukan proses ini dalam salah satu bahasa tersebut. Sejauh ini saya telah menemukan beberapa kode di R, tetapi saya bingung bagaimana cara membuatnya.

library(rgdal)
raster_data <- list.files(path=getwd())    #promt user for dir containing raster files
num_files <- length(raster_data)
for (i in raster_data) {                   #read in rasters
   my_data <- readGDAL(raster_data[i])

Pada titik ini saya bingung apakah saya juga harus mereklasifikasi dan mulai menjumlahkan data dalam loop ini atau tidak. Dugaan saya adalah ya karena kalau tidak saya pikir saya akan kehabisan memori di komputer saya, tetapi tidak yakin. Saya juga tidak yakin tentang cara mereklasifikasi data.

Dalam riset online saya pikir saya akan menggunakan reclass(my_data, c(-Inf,3,0, 4,9,1, 10,Inf,0)), tetapi apakah itu terlihat benar?

Dan untuk menjumlahkan akan saya gunakan sum(stack(my_data))dan entah bagaimana output itu. Juga ... jika ini lebih efisien dilakukan atau ditulis dalam Python saya akan terbuka untuk itu juga. Saya benar-benar pemula dalam hal pemrograman.

Ini adalah cara ringkas untuk melakukannya di R --- di sini tanpa file perantara:

library(raster)
raster_data <- list.files(path=getwd())    #promt user for dir containing raster files
s <- stack(raster_data)
f <- function(x) { rowSums(x >= 4 & x <= 9) }
x <- calc(s, f, progress='text', filename='output.tif')

Seperti yang saya perhatikan dalam komentar, umumnya Anda harus menghindari penggunaan R untuk tujuan non-statistik karena masalah kinerja dalam aspek-aspek tertentu (bekerja dengan siklus adalah contoh). Berikut adalah contoh kode untuk Anda di Pyhton (terima kasih untuk artikel ini ) untuk klasifikasi ulang satu file dengan satu band. Anda akan dapat memodifikasinya dengan mudah untuk pemrosesan batch jika Anda tahu cara mendapatkan semua file dari direktori . Perhatikan bahwa raster direpresentasikan sebagai array, jadi Anda dapat menggunakan metode array untuk meningkatkan kinerja bila berlaku. Untuk bekerja dengan array di Python lihat dokumentasi Numpy .

UPD: kode yang saya posting pada awalnya adalah versi terpotong dari filter khusus yang diperlukan per pemrosesan piksel. Tetapi untuk pertanyaan ini, penggunaan Numpy akan meningkatkan kinerja (lihat kode).

from osgeo import gdal
import sys
import numpy

gdalData = gdal.Open("path_to_file")
if gdalData is None:
  sys.exit("ERROR: can't open raster")

#print "Driver short name", gdalData.GetDriver().ShortName
#print "Driver long name", gdalData.GetDriver().LongName
#print "Raster size", gdalData.RasterXSize, "x", gdalData.RasterYSize
#print "Number of bands", gdalData.RasterCount
#print "Projection", gdalData.GetProjection()
#print "Geo transform", gdalData.GetGeoTransform()


raster = gdalData.ReadAsArray()
xsize = gdalData.RasterXSize
ysize = gdalData.RasterYSize

#print xsize, 'x', ysize

## per pixel processing
#for col in range(xsize):
#  for row in range(ysize):
#    # if pixel value is 16 - change it to 7
#    if raster[row, col] == 16:
#      raster[row, col] = 7

#reclassify raster values equal 16 to 7 using Numpy
temp = numpy.equal(raster, 16)
numpy.putmask(raster, temp, 7)

# write results to file (but at first check if we are able to write this format)
format = "GTiff"
driver = gdal.GetDriverByName(format)
metadata = driver.GetMetadata()
if metadata.has_key(gdal.DCAP_CREATE) and metadata[gdal.DCAP_CREATE] == "YES":
  pass
else:
  print "Driver %s does not support Create() method." % format
  sys.exit(1)
if metadata.has_key(gdal.DCAP_CREATECOPY) and metadata[gdal.DCAP_CREATECOPY] == "YES":
  pass
else:
  print "Driver %s does not support CreateCopy() method." % format
  sys.exit(1)

# we already have the raster with exact parameters that we need
# so we use CreateCopy() method instead of Create() to save our time
outData = driver.CreateCopy("path_to_new_file", gdalData, 0)
outData.GetRasterBand(1).WriteArray(raster)

1. Jangan gunakan readGDAL. Bunyinya menjadi objek Spasial * yang mungkin bukan ide yang baik ..

2. Gunakan rasterpaket. Itu dapat membaca hal-hal GDAL menjadi objek Raster. Ini adalah hal yang baik. r = raster("/path/to/rasterfile.tif")akan membacanya r.

3. Klasifikasi Anda kemudian t = r > 4 & r <= 9

4. Pertanyaan besar adalah apakah akan menampilkan ini ke file raster baru dan kemudian melakukan langkah ringkasan di loop lain. Jika Anda memiliki penyimpanan, saya akan menulisnya ke file baru hanya karena jika loop Anda gagal (karena salah satu dari 2000 file tersebut adalah sampah) Anda harus mulai lagi. Jadi gunakan writeRasteruntuk membuat raster yang di-threshold jika Anda memutuskan untuk melakukannya.

5. Maka loop Anda hanyalah sesuatu seperti

ini.

count = raster(0,size of your raster)
for(i in 1:number of rasters){
  r = raster(path to binary raster file 'i')
  count = count + r
}
return(count)

Manajemen memori R mungkin mengenai Anda di sini - saat Anda melakukannya, count=count+rR mungkin akan membuat salinan baru count. Jadi itu berpotensi 2.000 salinannya - tetapi pengumpulan sampah akan masuk dan membersihkan, dan ini di sini bahwa perulangan R dulu sangat buruk.

Dalam hal pengaturan waktu, pada PC 4yo saya, op ambang membutuhkan sekitar 1,5 detik pada raster sebesar angka acak antara nol dan dua puluh. Times 2000 = Anda mengerjakan matematika. Seperti biasa, buat set tes kecil untuk mengembangkan kode, lalu luncurkan pada data Anda yang sebenarnya dan nikmati kopi.