- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用?
- database - RESTful URI 是否应该公开数据库主键?
我已经实现了一个 hazelcast 服务,该服务通过 MapStoreFactory 和 newMapLoader 将其数据存储到本地 mapdb 实例中。如果需要重新启动集群,可以通过这种方式加载 key :
public class HCMapStore<V> implements MapStore<String, V> {
Map<String, V> map;
/** specify the mapdb e.g. via
* DBMaker.newFileDB(new File("mapdb")).closeOnJvmShutdown().make()
*/
public HCMapStore(DB db) {
this.db = db;
this.map = db.createHashMap("someMapName").<String, Object>makeOrGet();
}
// some other store methods are omitted
@Override
public void delete(String k) {
logger.info("delete, " + k);
map.remove(k);
db.commit();
}
// MapLoader methods
@Override
public V load(String key) {
logger.info("load, " + key);
return map.get(key);
}
@Override
public Set<String> loadAllKeys() {
logger.info("loadAllKeys");
return map.keySet();
}
@Override
public Map<String, V> loadAll(Collection<String> keys) {
logger.info("loadAll, " + keys);
Map<String, V> partialMap = new HashMap<>();
for (String k : keys) {
partialMap.put(k, map.get(k));
}
return partialMap;
}}
我现在面临的问题是来自 hazelcast 的 MapLoader 接口(interface)的 loadAllKeys 方法需要返回整个集群的所有键,但每个节点只存储它拥有的对象。
示例:我有两个节点并存储 8 个对象,然后例如5个对象存储在node1的mapdb中,3个对象存储在node2的mapdb中。我认为哪个对象由哪个节点拥有由 hazelcast 决定。现在重新启动时,node1 将为 loadAllKeys 返回 5 个键,node2 将返回 3 个。Hazelcast 决定忽略这 3 个项目,数据“丢失”。
对此有什么好的解决方案?
赏金更新:Here我在提到 2 个选项的 hc 邮件列表上问过这个问题(我会再添加 1 个),我想知道 hazelcast 3.2 或 3.3 是否已经可以实现这样的事情:
目前 MapStore 接口(interface)只能从本地节点获取数据或更新。是否可以将全集群的每一次存储 Action 通知MapStore接口(interface)?或者也许这已经可以通过一些听众魔法实现?也许我可以强制 hazelcast 将所有对象放入一个分区,并在每个节点上有 1 个副本。
如果我重新启动,例如2 个节点,然后使用我的本地数据库为 node1 和 node2 正确调用 MapStore 接口(interface)。但是当两个节点都加入时,node2 的数据将被删除,因为 Hazelcast 假设只有主节点是正确的。我可以教 hazelcast 接受来自两个节点的数据吗?
最佳答案
根据 Hazelcast 3.3 文档MapLoader 初始化流程如下:
When getMap() is first called from any node, initialization will start depending on the the value of InitialLoadMode. If it is set as EAGER, initialization starts. If it is set as LAZY, initialization actually does not start but data is loaded at each time a partition loading is completed.
- Hazelcast will call MapLoader.loadAllKeys() to get all your keys on each node
- Each node will figure out the list of keys it owns
- Each node will load all its owned keys by calling MapLoader.loadAll(keys)
- Each node puts its owned entries into the map by calling IMap.putTransient(key,value)
上面的意思是,如果节点以不同的顺序启动,那么 key 的分布也会不同。因此,每个节点都不会在其本地存储中找到所有/部分分配的键。您应该能够通过在 HCMapStore.loadAllKeys 和 HCMapStore.loadAll 中设置断点来验证它,并将您重新检索到的键与检索到的键进行比较。
在我看来,您要实现的目标与 Hazelcast 等具有弹性特性的分布式缓存的概念相矛盾,因此是不可能的。 IE。当一个节点消失(无论出于何种原因发生故障或断开连接)时,集群将通过移动部分数据来重新平衡,每次节点加入集群时都会发生相同的过程。因此,如果集群发生变化,丢失节点的本地后备存储将变得过时。
Hazelcast 集群本质上是动态的,因此它不能依赖具有静态分布式拓扑的后台存储。本质上,您需要有一个共享的后备存储才能使其与动态 hazelcast 集群一起工作。后台存储也可以分发,例如cassandra,但其拓扑必须独立于缓存集群拓扑。
更新:在我看来,您想要实现的目标以具有本地缓存的分布式数据存储(在 MapDB 之上)的形式更符合逻辑。
希望对您有所帮助。
关于java - Hazelcast 和 MapDB——实现一个简单的分布式数据库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25621860/
背景: 我最近一直在使用 JPA,我为相当大的关系数据库项目生成持久层的轻松程度给我留下了深刻的印象。 我们公司使用大量非 SQL 数据库,特别是面向列的数据库。我对可能对这些数据库使用 JPA 有一
我已经在我的 maven pom 中添加了这些构建配置,因为我希望将 Apache Solr 依赖项与 Jar 捆绑在一起。否则我得到了 SolarServerException: ClassNotF
interface ITurtle { void Fight(); void EatPizza(); } interface ILeonardo : ITurtle {
我希望可用于 Java 的对象/关系映射 (ORM) 工具之一能够满足这些要求: 使用 JPA 或 native SQL 查询获取大量行并将其作为实体对象返回。 允许在行(实体)中进行迭代,并在对当前
好像没有,因为我有实现From for 的代码, 我可以转换 A到 B与 .into() , 但同样的事情不适用于 Vec .into()一个Vec . 要么我搞砸了阻止实现派生的事情,要么这不应该发
在 C# 中,如果 A 实现 IX 并且 B 继承自 A ,是否必然遵循 B 实现 IX?如果是,是因为 LSP 吗?之间有什么区别吗: 1. Interface IX; Class A : IX;
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我正在阅读标准haskell库的(^)的实现代码: (^) :: (Num a, Integral b) => a -> b -> a x0 ^ y0 | y0 a -> b ->a expo x0
我将把国际象棋游戏表示为 C++ 结构。我认为,最好的选择是树结构(因为在每个深度我们都有几个可能的移动)。 这是一个好的方法吗? struct TreeElement{ SomeMoveType
我正在为用户名数据库实现字符串匹配算法。我的方法采用现有的用户名数据库和用户想要的新用户名,然后检查用户名是否已被占用。如果采用该方法,则该方法应该返回带有数据库中未采用的数字的用户名。 例子: “贾
我正在尝试实现 Breadth-first search algorithm , 为了找到两个顶点之间的最短距离。我开发了一个 Queue 对象来保存和检索对象,并且我有一个二维数组来保存两个给定顶点
我目前正在 ika 中开发我的 Python 游戏,它使用 python 2.5 我决定为 AI 使用 A* 寻路。然而,我发现它对我的需要来说太慢了(3-4 个敌人可能会落后于游戏,但我想供应 4-
我正在寻找 Kademlia 的开源实现C/C++ 中的分布式哈希表。它必须是轻量级和跨平台的(win/linux/mac)。 它必须能够将信息发布到 DHT 并检索它。 最佳答案 OpenDHT是
我在一本书中读到这一行:-“当我们要求 C++ 实现运行程序时,它会通过调用此函数来实现。” 而且我想知道“C++ 实现”是什么意思或具体是什么。帮忙!? 最佳答案 “C++ 实现”是指编译器加上链接
我正在尝试使用分支定界的 C++ 实现这个背包问题。此网站上有一个 Java 版本:Implementing branch and bound for knapsack 我试图让我的 C++ 版本打印
在很多情况下,我需要在 C# 中访问合适的哈希算法,从重写 GetHashCode 到对数据执行快速比较/查找。 我发现 FNV 哈希是一种非常简单/好/快速的哈希算法。但是,我从未见过 C# 实现的
目录 LRU缓存替换策略 核心思想 不适用场景 算法基本实现 算法优化
1. 绪论 在前面文章中提到 空间直角坐标系相互转换 ,测绘坐标转换时,一般涉及到的情况是:两个直角坐标系的小角度转换。这个就是我们经常在测绘数据处理中,WGS-84坐标系、54北京坐标系
在软件开发过程中,有时候我们需要定时地检查数据库中的数据,并在发现新增数据时触发一个动作。为了实现这个需求,我们在 .Net 7 下进行一次简单的演示. PeriodicTimer .
二分查找 二分查找算法,说白了就是在有序的数组里面给予一个存在数组里面的值key,然后将其先和数组中间的比较,如果key大于中间值,进行下一次mid后面的比较,直到找到相等的,就可以得到它的位置。
我是一名优秀的程序员,十分优秀!