java - 读取 GCS 存储桶上文件行数的有效方法

Question

我正在尝试使用 Java 存储客户端从远程服务器读取文件行数。

还尝试了 gsutil cat gs://{bucket_name}/file.txt | wc -l <​​

还有其他办法吗？

Answer 1

GCS 不提供内置方法来计算对象中的行数。从根本上讲，在某些时候您将需要扫描文件来计算行数。在某些情况下，可能有比您在问题中建议的方式更好的方法:

• 您可以将行数保存在 object metadata 中。这意味着您只需要进行一次计数，并且可以从元数据中检索它。如果您控制上传过程，您甚至可以在上传时执行此操作，这样您就可以获得计数而无需检索行。

• 你可以写一个小Google Cloud Function端点来执行此操作。这样做的优点是数据永远不会离开 GCP(如果设置正确，永远不会离开该区域)，因此速度更快且导出成本更低。