amazon-web-services - 每个AWS批处理作业是否都会启动一个新的Docker容器

Question

每次我提交批处理作业时，都会创建一个新的Docker容器，还是会重用旧的容器。

如果每次都创建一个新的Docker容器，那么作业完成后容器会发生什么。

在AWS ECS中，ECS_ENGINE_TASK_CLEANUP_WAIT_DURATION变量设置从任务停止到移除Docker容器的等待时间(默认3小时)

如果所有这些容器仅在三个小时后得到清理，如果我提交大量工作，ECS容器实例是否会很快被快速填充？

得到此错误CannotCreateContainerError:API错误(500):运行批处理作业时出现devmapper。如果我在工作结束时清理Docker容器文件是否有帮助？

Answer 1

Every time I submit a batch job, does a new Docker container get created or the old container will be reused.

是。在Batch上运行的每个作业将作为新的ECS任务运行，这意味着每个作业的新容器。

If all these containers only get cleanup after three hours, wouldn't the ECS container instance get filled up quick easily if I submit a lot of jobs?

这完全取决于您的工作负载，长度，作业长度，磁盘使用情况等。对于大量占用磁盘的短作业，这完全有可能。

CannotCreateContainerError: API error (500): devmapper

Documentation for this error表示一些可能的解决方案，但是第一种(您已经调出的解决方案)在这种情况下可能无济于事。

在ECS上默认为3h的 ECS_ENGINE_TASK_CLEANUP_WAIT_DURATION似乎在批处理群集上默认设置为2m-您可以检查一个批处理实例上的EC2用户数据以验证是否在群集上以这种方式设置了该数据。根据群集的使用期限，这些设置可能会更改。批处理不会在没有创建整个新集群的情况下自动更新到最新的ECS优化AMI，因此如果它也不更改设置，我也不会感到惊讶。

如果您的清除持续时间设置当前设置为低，则 you might try creating a custom AMI会提供比正常docker更大的卷。默认情况下，ECS优化的AMI随附8GB根驱动器和Docker 22GB的卷。