google-cloud-storage - 如何在短时间内列出 Google Storage 存储桶中的所有文件？

Question

我有一个包含超过 2 万个文件名的 Google Storage 存储桶。有没有办法在短时间内列出存储桶中的所有文件名？

Answer 1

这取决于您所说的“短”是什么意思，但是:

您可以做的一件事来加快列出存储桶的速度，那就是对列出操作进行分片。例如，如果您的存储桶包含以英文字母字符开头的对象，您可以并行列出每个字母并合并结果。您可以在 bash 中使用 gsutil 执行此操作，如下所示:

gsutil ls gs://your-bucket/a* > a.out &
gsutil ls gs://your-bucket/b* > b.out &
...
gsutil ls gs://your-bucket/b* > z.out &
wait
cat ?.out > listing.out

如果您的存储桶具有不同命名的对象，则您必须调整分片的方式。