google-cloud-storage - 下载前使用 GSUTIL 解压缩文件的一部分

Question

我正在使用 gsutil 从 GCS 下载一堆 ZIP 文件。然后我将它们解压缩到我的本地驱动器，只保留一些我需要的文件。

gsutil cp gs://uspto-pair/applications/*.zip .    
unzip  -jo  \\*.zip *SRNT.pdf -d ./SRNT_files

这工作正常，但在带宽上似乎很浪费(我扔掉了大部分内容)。

有没有办法在 GCS 上解压缩文件，然后只下载我需要的部分？

Answer 1

不，云存储没有足够的智能来实现这一点。如果带宽是问题，请从 Compute Engine 实例执行该操作。下载会非常快。

您也可以使用 App Engine，但内存更有限，您无权访问文件系统(因此您必须将下载的所有内容保存在内存中)。除非您只有小文件(<100MB)，否则这并不容易。