google-cloud-storage - 在 Google Cloud Storage 中合并超过 32 个文件

Question

我有一个在 Google Compute Engine 上运行的 Apache Spark 脚本，它用于输出 Google Cloud Storage。我的 Cloud Storage 文件夹中有 300 多个 part-00XXX 文件。我想合并它们。

我试过:

poiuytrez@spark-m:~$ gsutil compose gs://mybucket/data/* gs://mybucket/myfile.csv

但我收到了这个错误:

CommandException: "compose" called with too many component objects. Limit is 32.

合并所有这些零件文件的解决方案的任何想法？

Answer 1

您只能在一个请求中组合 32 个对象，但一个组合对象最多可以有 1024 个组件。特别是，您可以将对象 0-31 组合为某个对象 0'，将 32-63 组合为 1'，等等 - 然后可以通过组合 (0', 1',..., floor (300/32)')。