docker - 将S3存储桶作为文件系统挂载在AWS ECS容器上

Question

我正在尝试使用rexray/s3fs驱动程序将S3作为卷挂载在AWS ECS docker容器上。

我可以在安装了插件的本地计算机上执行此操作

$docker plugin install rexray/s3fs

并将S3存储桶安装在docker容器上。

$docker plugin ls

ID                  NAME                 DESCRIPTION                                   ENABLED

3a0e14cadc17        rexray/s3fs:latest   REX-Ray FUSE Driver for Amazon Simple Storage   true 

$docker run -ti --volume-driver=rexray/s3fs -v s3-bucket:/data img

我正在尝试在AWS ECS上复制它。

尝试了以下文件:
https://docs.aws.amazon.com/AmazonECS/latest/developerguide/docker-volumes.html

如果我给驱动程序值，那么任务将无法运行并给出
“由于没有容器实例满足其所有要求，因此无法下达任务。”错误。

我正在使用t2.medium实例并为其提供任务要求，因此它不应该是硬件要求问题。

如果我从作业定义中删除驱动程序配置，则会执行任务。

似乎我很想配置一些东西。

是否有人尝试/尝试过相同的事情，请分享知识。

谢谢!!

Answer 1

您使用rexray/s3fs驱动程序的方法是正确的。

这些是我在Amazon Linux 1上运行时要遵循的步骤。

首先，您将需要安装s3fs。

yum install -y gcc libstdc+-devel gcc-c+ fuse fuse-devel curl-devel libxml2-devel mailcap automake openssl-devel git gcc-c++
git clone https://github.com/s3fs-fuse/s3fs-fuse
cd s3fs-fuse/
./autogen.sh
./configure --prefix=/usr --with-openssl
make
make install

现在安装驱动程序。您可能需要在此处修改一些选项，例如使用IAM角色而不是访问 key 和AWS区域。

docker plugin install rexray/s3fs:latest S3FS_REGION=ap-southeast-2 S3FS_OPTIONS="allow_other,iam_role=auto,umask=000" LIBSTORAGE_INTEGRATION_VOLUME_OPERATIONS_MOUNT_ROOTPATH=/ --grant-all-permissions

现在是重新启动ECS代理的非常重要的步骤。我也进行了很好的更新。

yum update -y ecs-init
service docker restart && start ecs

现在，您应该准备创建任务定义。重要的部分是您的卷配置，如下所示。

"volumes": [
  {
    "name": "name-of-your-s3-bucket",
    "host": null,
    "dockerVolumeConfiguration": {
      "autoprovision": false,
      "labels": null,
      "scope": "shared",
      "driver": "rexray/s3fs",
      "driverOpts": null
    }
  }
]

现在，您只需要在容器定义中指定安装点:

"mountPoints": [
  {
    "readOnly": null,
    "containerPath": "/where/ever/you/want",
    "sourceVolume": "name-of-your-s3-bucket"
  }
]

现在，只要您具有访问s3存储桶的适当IAM权限，您的容器就应该启动，并且可以继续使用s3作为卷。

如果在执行“ATTRIBUTE”任务时遇到错误，请仔细检查插件是否已成功安装在ec2实例上，并且ecs代理已重新启动。还要仔细检查您的驱动程序名称是“rexray/s3fs”。