docker - 如何使用 Docker 在 AWS EC2 实例上安装 Lustre？

Question

我需要在 AWS 上部署 Lustre 文件系统。我不能使用 Amazon FSx for Lustre，而是需要创建在 EC2 实例上运行的所有节点。

我还需要一个 docker 配置来在本地模拟它。我想我需要为此使用一些 CentOS 镜像。

我有点迷茫 - 我需要的解决方案是否可能？有人可以向我提供如何实现这一目标的步骤吗？

Answer 1

我自己现在正在做这件事。据我了解:

您需要您的主机内核来支持 luster 模块，并且您需要在您打算挂载 luster 文件系统的位置安装 luster 客户端。然后在必须挂载文件系统之前的某个时间点加载模块。

如果您打算调用mount -t lustre lustre_endpoint /mnt/my_lustre从容器内部，您的容器将需要特权(即 docker run --privileged ... )或者需要具有特殊的 linux 挂载功能。另一种选择是在 docker 主机上挂载 luster 文件系统(例如/mnt/my_lustre)，然后使用卷挂载或绑定(bind)挂载将其子部分访问到容器中。

如果您尝试使用 Lustre FSx(这是 Lustre 服务的 AWS 版本)，有特定的说明。要安装 FSx 模块和客户端库，您需要按照此处的说明进行操作:https://docs.aws.amazon.com/fsx/latest/LustreGuide/install-lustre-client.html
请特别注意内核要求。如果您拥有的内核版本高于列出的版本，您可以跳过步骤 1-6。

对于普通的 Lustre 文件系统(或不受 AWS 管理的 Lustre 文件系统)，您可能应该遵循 luster 项目的说明。因为那时，AWS 并没有什么特别之处。