Java:根据可用资源分配/计划/队列任务的合适库/服务器？

Question

我有大约 5 个不同的异构 Linux 专用服务器，可以运行 Java 应用程序。

理想情况下，我会让其中一台运行 Netty 等 Java 服务器的服务器充当“中心”。客户端将提交要在服务器上运行的任务，第一个服务器将处理哪些任务将在不同服务器的可用资源上运行。

因此，如果一台服务器上已经运行了太多任务，第一个服务器“集线器”会将客户端任务路由到具有免费资源的下一个可用服务器上运行。

如果达到最大任务阈值，则应创建一个队列。每当资源被释放时，队列中的下一个任务就会运行。

集线器应该关注的另一部分是任务运行的频率。例如，每月或每周一次。

我想知道针对上述场景有哪些现有解决方案(非商业、开源最好)。我确实记得隐约读过有关 Netty 服务器上的一个项目的信息，该项目执行我所描述的操作，但我不记得该项目的名称。

Answer 1

如果您打算使用netty框架，那么您可以执行以下操作。为“中心”服务器创建一个管道，在其中添加一个处理程序，将任务分散到每个底层服务器。在该处理程序中，您可以对每个服务器使用阻塞队列。如果一台服务器有太多任务，它们将不会被执行，直到前面的任务被底层服务器消耗完。将使用任务的部分将是另一个处理程序，它将充当实际底层服务器的客户端。我猜你不能将任务直接转发到服务器。您需要使用客户端请求服务器执行任务。

沿着“路由处理程序”中的阻塞队列以循环方式分散任务就可以了。

或者，您可以查看 Netty 中的 MemoryAwareThreadPoolExecutor。特别是在 DefaultObjectSizeEstimator 中。您可以通过估计任务的“权重”来限制处理的请求数量。

问候，提比略