python - 如何在 python 中读取 gzip netcdf 文件？

Question

我有一个工作的 python 程序，它使用 netCDF4 模块中的 Dataset 命令读取大量大型 netCDF 文件。以下是相关部分的片段:

from netCDF4 import Dataset
import glob

infile_root = 'start_of_file_name_'

for infile in sorted(glob.iglob(infile_root + '*')):
   ncin = Dataset(infile,'r')
   ncin.close()

我想修改它以读取 gzip 压缩的 netCDF 文件。文件本身在创建后被 gzip 压缩；它们不是内部压缩的(即文件是 *.nc.gz)。如果我正在阅读 gzip 文本文件，命令将是:

from netCDF4 import Dataset
import glob
import gzip

infile_root = 'start_of_file_name_'

for infile in sorted(glob.iglob(infile_root + '*.gz')):
   f = gzip.open(infile, 'rb')
   file_content = f.read()
   f.close()

在谷歌搜索大约半小时并通读 netCDF4 文档后，我能想到的对 netCDF 文件执行此操作的唯一方法是:

from netCDF4 import Dataset
import glob
import os

infile_root = 'start_of_file_name_'

for infile in sorted(glob.iglob(infile_root + '*.gz')):
   os.system('gzip -d ' + infile)
   ncin = Dataset(infile[:-3],'r')
   ncin.close()
   os.system('gzip ' + infile[:-3]) 

是否可以直接用Dataset命令读取gzip文件？或者不通过操作系统调用 gzip？

Answer 1

从 netCDF4-1.2.8 ( Changelog ) 开始支持从内存中读取数据集:

import netCDF4
import gzip

with gzip.open('test.nc.gz') as gz:
    with netCDF4.Dataset('dummy', mode='r', memory=gz.read()) as nc:
        print(nc.variables)

参见Dataset documentation中memory参数的说明