java - 系统重启后如何处理复制缓存的重新填充

Question

我们有一个集群应用程序，其核心有一个缓存。缓存基于计算数据，从底层数据库(也被复制)构建。它用于快速查找流数据，即时做出路由决策。

由于计算缓存的数据可以从集群中的任何节点更改，我们正在考虑复制缓存，这样我们就不必监听来自其他节点的复制更改在系统中，以数据库特定的方式。

我们已经确定 ehcache(infinispan/hazelcast 和 nearcache 是其他竞争者)作为可能的缓存实现。到目前为止，一切都很好。

我需要知道的是，当各个节点或整个应用程序重新启动时，将如何重新填充此缓存。节点所需的所有数据都存在于底层数据库中。那么每个节点是否可以简单地从其数据库加载数据并在重启后填充缓存？缓存如何将集群节点带入单一状态？

我知道有磁盘持久化缓存——这是使用 ehcache 的方法吗？我不想将它用作第一个选项，因为所有数据的单一点是数据库，而它是决定哪些是正确数据的中央权威。

有没有一种方法可以让应用程序在重启时重新加载所有数据的缓存，并让所有缓存都做同样的事情并同步增量？我有点认为这是一件很难做的事情，而且可能不可行，因为所有节点都不会来回发送所有 key 。但想确定并想知道是否有任何其他策略来处理这种情况。

Answer 1

我将尝试从 Infinispan 的角度提出可能的解决方案。

在您的用例中，我建议使用 Infinispan 独立节点集群(客户端-服务器访问，例如通过 HotRod)并配置底层缓存存储。

https://docs.jboss.org/author/display/ISPN/Infinispan+Server & https://docs.jboss.org/author/display/ISPN/Using+Hot+Rod+Server

现在更具体地回答您的问题:

What I need to know is how this cache will be repopulated when the individual nodes or the entire application restarts.

这就是为什么我建议您使用具有远程客户端-服务器访问权限的“独立”集群。您的缓存层不直接依赖于您的应用程序。当应用程序重新启动、崩溃、重新部署时...您仍然在 Infinispan 集群中缓存数据，一旦您的应用程序再次运行，只需连接到它。

All the data that a node requires is present in the underlying database. So can each node simply load the data from its database and populate the cache after restarts?

在 Infinispan 中，是的。节点能够从缓存存储加载数据。请参阅此部分:https://docs.jboss.org/author/display/ISPN/Cache+Loaders+and+Stores特别是 preload 配置元素，它用于在缓存启动后将数据从存储预加载到缓存。

How will the cache then bring the cluster nodes to a single state?

在 Infinispan 中有一个状态转移。这个新实现 ( https://community.jboss.org/wiki/Non-BlockingStateTransferV2 ) 甚至在新节点加入期间不再阻塞您的集群。在加入/离开更改后，状态传输只关心您在集群中的数据分布。

Is there a way an app can reload the cache with all the data at restart and have all the caches do the same and sync up the deltas?

是的，根据上面提到的所有内容。您可以简单地使用复制，以便将条目复制到所有节点并且状态是一致的。但是，这种情况更适合重读场景。在您的情况下，我想，具有相应 numberOfOwner 的分发模式应该足够了。