google-app-engine - 如何连接谷歌云存储中的一百万个文件

Question

根据documentation对于 Google Cloud Storage，使用 gsutil compose 有一些限制(见下文)。

是否有更有效的方法将大量文件合并到同一个存储桶(约 100 万个)中？

如果我理解正确，我必须加入 32 人的小组，然后继续这样做并再次加入？

Note that there is a limit (currently 32) to the number of components that can be composed in a single operation.

There is a limit (currently 1024) to the total number of components for a given composite object. This means you can append to each object at most 1023 times.

There is a per-project rate limit (currently 200) to the number of components you can compose per second. This rate counts both the components being appended to a composite object as well as the components being copied when the composite object of which they are a part is copied.

Answer 1

GCS 不再强制执行组件计数限制。只要新创建的对象 <= 5 TiB，您就可以合并 100 万个文件。您仍然必须通过递归组合将文件以 32 个为一组加入，如 documented here .

串行执行此操作的一种简单方法是通过重复覆盖来附加到单个对象。例如:

1. 将文件上传为对象 {F_i, F_i+1, ... F_total}
2. 组合对象 {F₁, F₂, ... F₃₁} 来创建复合对象 X
3. 递归组合对象{X, F_i+1, F_i+2, ... F_i+30}来覆盖X 有了新对象

由于每个项目的组合速率限制也已取消，您还可以通过批量组合临时对象然后删除临时对象来并行执行此操作。

1. 组合对象 {F_i, F_i+1, ... F_i+31} 来创建复合对象 X⁽¹⁾_我/32
2. 递归组合对象 {X^(m)_j, X^(m)_j+1, . .. X^(m)_j+31} 创建复合对象 X^(m+1)_j/32
3. 删除所有临时对象X^(m)_j

唯一需要注意的是，即使对象具有 > 2,147,483,647 个组件，componentCount 元数据属性也会在 2,147,483,647 时饱和。如果您不依赖于 componentCount 的准确性，那么这应该不是问题，因为 componentCount 不会影响 compose 是否成功。