r - R 与 RNetCDF 的结果不一致 - 为什么？

Question

我在使用 RNetCDF 从 NetCDF 数据文件中提取数据时遇到问题。每个数据文件都有 3 个维度(经度、纬度和日期)和 3 个变量(纬度、经度和气候变量)。有四个数据集，每个数据集都有不同的气候变量。

为了清楚起见，这里是 print.nc(p8m.tmax) 的一些输出。除了特定的气候变量外，其他数据集是相同的。

dimensions:
  month = UNLIMITED ; // (1368 currently)
  lat = 3105 ;
  lon = 7025 ;
variables:
  float lat(lat) ;
          lat:long_name = "latitude" ;
          lat:standard_name = "latitude" ;
          lat:units = "degrees_north" ;
  float lon(lon) ;
          lon:long_name = "longitude" ;
          lon:standard_name = "longitude" ;
          lon:units = "degrees_east" ;
  short tmax(lon, lat, month) ;
          tmax:missing_value = -9999 ;
          tmax:_FillValue = -9999 ;
          tmax:units = "degree_celsius" ;
          tmax:scale_factor = 0.01 ;
          tmax:valid_min = -5000 ;
          tmax:valid_max = 6000 ;

当我使用 RNetCDF 包中的 var.get.nc 函数时，出现了我无法理解的行为。

例如，当我尝试从最高温度数据 (p8m.tmax <- open.nc(tmaxdataset.nc)) 中提取从 stval 开始的 82 个值时

 > var.get.nc(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,82))

(其中 lon_val 和 lat_val 指定我感兴趣的坐标在数据集中的位置，而 stval 是 stval 设置为 which(time_vec==200201)，在本例中等于 1285。)我得到 错误:参数无效

但成功提取80和81值后

> var.get.nc(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,80))
> var.get.nc(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,81))

82 行的命令:

> var.get.nc(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,82))

[1]  444  866 1063 ... [output snipped]

同样的问题出现在结构相同的 tmin 文件中，但在 36 而不是 82:

> var.get.nc(p8m.tmin,'tmin', start=c(lon_val, lat_val, stval),count=c(1,1,36))

产生错误:参数无效

但在重复计数 30、31 等之后

> var.get.nc(p8m.tmin,'tmin', start=c(lon_val, lat_val, stval), count=c(1,1,36)) 

有效。

这些示例让人觉得函数在最后一次计数时失败了，但实际上并非如此。在第一个示例中，var.get.nc 在我要求 84 个值后给出错误:参数无效。然后，我通过改变数据集中的起点并一次只询问 1 个值，将失败次数缩小到第 82 次。出现问题的具体数字也各不相同。我可以关闭并重新打开数据集，让问题出现在不同的位置。

在上面的特定示例中，lon_val 和 lat_val 分别为 1595 和 1751，用于标识我感兴趣的纬度和经度沿 lat 和 lon 维度在数据集中的位置。第 1595 个纬度和第 1751 个经度不是然而，问题是。我尝试过的所有其他纬度和经度都会出现此问题。

沿气候变量维度 (stval) 改变数据集中的起始位置和/或指定不同的位置(作为命令中的数字而不是对象 stval)也不能解决问题。

这个问题并不总是会发生。我可以连续三次运行相同的代码(清除运行之间的所有对象)并且每次都得到不同的结果。第一次运行可能会在我尝试获取的第 7 个条目上阻塞，第二个运行可能会正常运行，而第三个运行可能会在第 83 个条目上阻塞。我对这种不一致的行为感到非常困惑。

open.nc 函数也开始失败，出现同样的错误:参数无效。与 var.get.nc 问题一样，它也会不一致地发生。

有谁知道最初提取变量失败的原因是什么？我该如何预防呢？可能与数据文件的大小(每个大约 60GB)和/或我通过网络驱动器访问它们有关吗？

这也被问到这里: https://stat.ethz.ch/pipermail/r-help/2011-June/281233.html

> sessionInfo()
R version 2.13.0 (2011-04-13)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_United States.1252  LC_CTYPE=English_United States.1252   
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C                          
[5] LC_TIME=English_United States.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] reshape_0.8.4   plyr_1.5.2      RNetCDF_1.5.2-2

loaded via a namespace (and not attached):
[1] tools_2.13.0

Answer 1

为了解决这个问题，我从 RNetCDF 包(版本 1.5.2-2)切换到 ncdf 包(1.6.5)。两个包中的函数名称相似，用途相同 [open.nc vs. open.ncdf，var.get.nc vs. get.var.ncdf]。使用完全相同的代码并将 RNetCDF 函数名称替换为 ncdf 函数，我没有得到任何错误和预期的结果。

因此，虽然以下 RNetCDF 命令失败(只是有时且没有明显原因)

>p8m.tmax <- open.nc('tmax.nc')
>var.get.nc(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,82))

这些 ncdf 命令永远不会失败

>p8m.tmax <- open.ncdf('tmax.nc')
>get.var.ncdf(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,82))

这不是一个真正的解决方案——我仍然不知道为什么 RNetCDF 包中的函数有时有效有时无效。然而，它确实允许我提取我需要的数据，并希望对其他在 R 中使用 netcdf 数据的人有所帮助。