python - 是否可以在 FTP 服务器上调用 xarray open_mfdataset？

Question

我正在尝试下载北大西洋的每日海洋温度再分析产品 ( GLORYS2V4 from CMEMS )，但唯一的下载选项是通过 FTP 访问大型 (2GB) 全局文件。是否可以在 FTP 目录上使用 open_mfdataset 来获取我需要的子集，而无需将所有数据下载到我的本地计算机？如果是这样，我将如何设置路径或 url？

目前我正在连接到 FTP，然后尝试为 xarray 提供 url，但它会将 url 解释为我工作目录中的路径。例如。如果我试图打开 2000 年 1 月 1 日的一个文件:

ftp = FTP("my.cmems-du.eu", username, password)
sample_directory = '/Core/GLOBAL_REANALYSIS_PHY_001_031/global-reanalysis-phy-001-031-grepv2-daily/2000/01'
ftp.cwd (sample_directory)

ftp_path = 'ftp://my.cmems-du.eu/Core/GLOBAL_REANALYSIS_PHY_001_031/global-reanalysis-phy-001-031-grepv2-daily/2000/01/grepv2_daily_20000101.nc'
ds = xr.open_dataset (ftp_path)

这会产生一个 FileNotFoundError: [Errno 2] No such file or directory: b'U:\\Documents\\conda_dir\\ftp:\\my.cmems-du.eu\\Core\\GLOBAL_REANALYSIS_PHY_001_031\\global-reanalysis-phy-001-031-grepv2-daily\\2000\\01\\grepv2_daily_20000101.nc' 其中“U:\Documents\conda_dir”是我的工作目录。

Answer 1

一般不会。我不知道那个特定的文件格式。即使您找到了可以处理该特定文件格式并且可以处理远程 FTP 存储的库，它也很难在不下载整个文件的情况下过滤内容。

唯一的异常(exception)是，如果格式有某种索引，图书馆可以下载它，找到它需要的文件的哪些部分，然后只下载那些部分。例如，这样你可以 download only some files from a remote ZIP archive .但对于大多数文件格式，这是不可能的。