google-cloud-storage - 限制并行 cp 的文件数

Question

我在一个包含 25 个 4gb json 文件的目录上并行运行 gsutil cp 命令(使用 -m 选项)(我也在使用 -z 选项进行压缩)。

gsutil -m cp -z json -R dir_with_4g_chunks gs://my_bucket/

当我运行它时，它会向终端打印出它正在复制除一个文件之外的所有文件。我的意思是它为每个文件打印以下行之一:

Copying file://dir_with_4g_chunks/a_4g_chunk [Content-Type=application/octet-stream]...

完成其中一个的传输后，它会说它将复制最后一个文件。

这样做的结果是只有一个文件只有在其他文件之一完成复制时才开始复制，从而显着减慢了进程

我可以使用 -m 选项上传的文件数量有限制吗？这可以在 boto 配置文件中配置吗？

Answer 1

我无法在 Mac 上找到 .boto 文件(根据上面 jterrace 的回答)，而是使用 -o 开关指定了这些值:

gsutil -m -o "Boto:parallel_thread_count=4" cp directory1/* gs://my-bucket/

这似乎控制了传输速率。