带有 Lustre 的 Docker Swarm 卷？

Question

我有一个用于 HDFS 数据节点的 docker swarm 设置如下(截断):

  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8
    volumes:
      - datanode:/hadoop/dfs/data
    deploy:
      mode: global
      placement:
        constraints: [ node.role == worker ]
  volumes:
    datanode:

每个数据节点容器都有一个关联的数据节点卷，当前存储在/var/lib/docker/volumes 中(每个节点本地)。我可以访问更大(和更快)的 lustre 文件系统，并且正在寻求了解如何将卷存储在 Lustre 文件系统上。

一种可能是将/var/lib/docker/volumes 符号链接(symbolic link)到/lustre/nodeN(其中 N 是物理节点号)，但名称节点似乎无法处理堆栈重启，因为数据会(可能)移动到另一个节点。

是否存在 docker 驱动器以支持 swarm 中 lustre 文件系统上的 docker 卷？如果不是，团队如何管理 HDFS 等系统的 docker volume 数据持久性？

Answer 1

恐怕不会 如果我没有误解你的话，因为 driver: lustre 或类似的东西不存在于 docker 配置中nfs，例如:

volumes:
   db-data:
      driver: local
      driver_opts:
        type: <here is where you could try to put lustre, but it doesn't exist>
        o: addr=$IPADDR,rw
        device: ":/hadoop/dfs/data"

因此，如果您考虑以下架构，请尝试使用 lustre-graph-driver

https://github.com/bacaldwell/lustre-graph-driver/blob/master/lustre-graph-driver.jpg

更多信息请参见 lustre-graph-driver HOWTO