Docker Swarm 共享卷

Question

目前我正在构建一个 Docker Swarm 集群。由3名管理人员和3名 worker 组成。我将在此设置上部署的应用程序由一个 Laravel 后端组成，该后端需要将其代码放在多个容器中以实现可扩展性。我已经尝试过 GlusterFS 卷和带有 Ceph 后端的 rex-ray 作为我的卷的共享存储。 GlusterFS 并不可靠，而 Ceph 在我的例子中有点矫枉过正，而且太难了:)

当前的设置看起来像这样。我在 Docker 之外有一个 Percona 集群，我在这些服务器上运行 GlusterFS，然后将它们简单地安装到 Docker Workers 中。

                                                Docker Managers
+-------------------------------------------------------------+
|                                                             |
|   +---------+   +---------+   +---------+    +---------+    |
|   |         |   |         |   |         |    |         |    |
|   | HAproxy +---+ HAproxy +---+ HAproxy +----+   SSL   |    |
|   |         |   |         |   |         |    | Manager |    |
|   +----+----+   +----+----+   +----+----+    +---------+    |
|        |             |             |                        |
+-------------------------------------------------------------+
         |             |             |
         |             |             |           Docker Workers
+-------------------------------------------------------------+
|        |             |             |                        |
|   +----+-------------+-------------+--------------------+   |
|   |                                                     |   |
|   |                      Applicaties                    |   |
|   |                                                     |   |
|   +---+--------------+---------------+--------------+---+   |
|       |              |               |              |       |
|       |              |               |              |       |
|   +---+----+     +---+----+     +----+---+     +----+---+   |
|   | Mysql  |     | Mysql  |     | Mysql  |     | Mysql  |   |
|   |   LB   +-----+   LB   +-----+   LB   +-----+   LB   |   |
|   +---+----+     +----+---+     +----+---+     +----+---+   |
|       |               |              |              |       |
|       +---------------+-------+------+--------------+       |
|       |                       |                     |       |
+-------------------------------------------------------------+
        |                       |                     |
        |                       |                     |
        |                       |                     |
+-------+--------+     +--------+-------+    +--------+-------+
|                |     |                |    |                |
|    MySQL01     |     |    MySQL02     |    |    MySQL03     |
|    Gluster01   +-----+    Gluster02   +----+    Gluster03   |
|                |     |                |    |                |
+----------------+     +----------------+    +----------------+

然后我将它们安装到 php 容器中，如下所示:

--mount type=bind,source=/mnt/client-data,target=/var/www/html/

这可行，但速度非常慢。页面加载时间约为 10 秒，当文件未挂载(它们存在于容器中)时，页面加载时间约为 2-3 秒。

我遇到了 Flocker，这看起来很有趣，但我认为 flocker 卷只能安装在一个容器上。这是真的吗？

我现在正在尝试的另一个解决方案是，每次创建新容器时都会从 git 中提取代码。这实际上是一个很好的解决方案，但提取代码并运行 Composer 大约需要 5 分钟，并且当我推送更新时，我需要重新启动所有容器。

在多个主机上的不同容器之间共享代码的最佳解决方案是什么？ (甚至数据中心)目前我可以访问许多不同的存储后端(Ceph、NFS、gluster)，并且创建一个新的存储后端不是问题。

编辑:为什么 gluster 在这种情况下不可靠？我上面可能说错了……当在 Gluster 上使用 docker 卷和卷驱动插件时，Gluster 是不可靠的。在创建服务时，大多数情况下卷都可以很好地安装，但如果集群中发生重新调度，卷很少会再次安装。我稍后会调查这个问题以确定出了什么问题，但目前我没有很多空闲时间。事实上，Gluster 是固体的。只是在这种情况下并非如此。

Answer 1

我最终做的是使用 CephFS 并将其安装在 docker 主机上。与 glusterfs 相比，写入速度还不错，甚至可能非常出色。 CephFS 上的读取速度非常快，GlusterFS 也是如此。

此设置适合我的需求，但我无法在主机之间使用共享的 docker 卷。我必须将已安装的文件系统绑定(bind)到 docker 容器中。尽管这不是世界末日，但我仍在寻找一种方便快捷的方法来让我的卷分布在 swarm 中的所有主机上。

目前我正在尝试为 CephFS 构建一个 Docker 卷插件来实现我的要求。如果有人感兴趣，我会保持更新。