amazon-web-services - 将弹性文件系统挂载到 AWS Batch 计算环境

Question

我正在尝试将我的弹性文件系统 (EFS) 安装在我的 docker 容器中，以便它可以与 AWS 批处理一起使用。这是我所做的:

创建一个针对弹性容器服务 (ECS) 优化的新 AMI。我关注了 this guide here以确保它上面有 ECS。我也把挂载到/etc/fstab文件并验证我的 EFS 在重新启动后正在挂载 (/mnt/efs)。

使用我的新 AMI 测试了一个 EC2 实例，并验证我可以拉取 docker 容器并通过

将它传递给我的挂载点
docker run --volume /mnt/efs:/home/efs -it mycontainer:latest
交互式运行 docker 图像向我展示了我在 efs 中的数据

Set up a new compute enviorment使用我的新 AMI，它在启动时挂载 EFS。

创建一个 JOB 定义文件:

{
"jobDefinitionName": "MyJobDEF",
"jobDefinitionArn": "arn:aws:batch:us-west-2:#######:job-definition/Submit:8",
"revision": 8,
"status": "ACTIVE",
"type": "container",
"parameters": {},
"retryStrategy": {
    "attempts": 1
},
"containerProperties": {
    "image": "########.ecr.us-west-2.amazonaws.com/mycontainer",
    "vcpus": 1,
    "memory": 100,
    "command": [
        "ls",
        "/home/efs",
    ],
    "volumes": [
        {
            "host": {
                "sourcePath": "/mnt/efs"
            },
            "name": "EFS"
        }
    ],
    "environment": [],
    "mountPoints": [
        {
            "containerPath": "/home/efs",
            "readOnly": false,
            "sourceVolume": "EFS"
        }
    ],
    "ulimits": []
}

}

运行Job，查看日志

无论如何，虽然它没有说“找不到文件/home/efs”，但它没有列出我的 EFS 中填充的任何内容，我将其解释为安装空 efs 的容器。我究竟做错了什么？我的 AMI 是否未在计算环境中安装 EFS？

Answer 1

我在最近的一篇博文中介绍了这一点

https://medium.com/arupcitymodelling/lab-note-002-efs-as-a-persistence-layer-for-aws-batch-fcc3d3aabe90

您需要为批处理实例设置启动模板，并且需要确保您的子网/安全组配置正确。