high-availability - HA gearman 作业服务器的最佳实践是什么

Question

在 gearman 的主页上，他们提到与多个作业服务器一起运行，因此如果作业服务器死机，客户端可以选择新的作业服务器。鉴于下面的语句和图表，作业服务器似乎没有相互通信。

我们的问题是那些在已死亡的作业服务器中排队的作业会发生什么？为这些服务器提供高可用性以确保作业不会因故障而中断的最佳实践是什么？

You are able to run multiple job servers and have the clients and workers connect to the first available job server they are configured with. This way if one job server dies, clients and workers automatically fail over to another job server. You probably don't want to run too many job servers, but having two or three is a good idea for redundancy.

Source

Answer 1

据我所知，目前没有正确的方法来处理这个问题，但只要你用永久队列运行两个作业服务器(使用 MySQL 或其他数据存储 - 只是不要为两个服务器使用相同的实际队列)，您只需重新启 Action 业服务器，它就会从数据库加载其队列。这将允许所有排队的任务提交给可用的工作人员，即使在服务器已经死亡之后也是如此。

然而，当作业服务器出现故障时，没有自动执行此操作的方法，因此如果作业服务器和数据存储都出现故障(同时运行的服务器在本地出现故障)将使任务处于不确定状态，直到它重新联机。

永久队列仅在启动时读取(并在提交和完成任务时插入/删除)。

我不确定将此类功能添加到 gearmand 所需的复杂性以及它是否真的需要，但简单的“添加任务、分发任务、完成任务”——服务器之间的通知不应该太复杂而无法处理。