java - Hazelcast : cannot make remote call: com. hazelcast.map.impl.operation.GetOperation

Question

我们在我们的项目中使用 Hazelcast 3.10.4。二级缓存也被启用。有时，我们会遇到下面提到的 3 个 Hazelcast 节点异常:同一台机器上有 2 个节点，不同机器上有 1 个节点。但是网络是一样的。2 个节点之一发生异常。不在另一台机器上运行的节点上。

当我们启动服务器然后进行一些操作时，我们得到了这个。

案例:考虑 Cache-1 和 Cache-2 这两个分布式 hazelcast 缓存 (hazelcast IMap)。Cache-1 在服务器启动时完全初始化。服务器启动并运行后，Cache-1 仅用于获取数据——没有更新，也没有重新加载。 Cache-1 包含处理所需的所有数据。比如说，Cache-1 包含在不同级别定义的所有系统配置，一旦系统启动，用户就不会更改这些配置。该缓存分布在 3 个节点上。

Cache-2 在服务器启动时部分初始化。服务器启动并运行后，系统将修改 Cache-2:从缓存中删除数据，修改缓存中的数据，根据 Cache-1 中存在的某些配置加载数据(如果缓存中不存在) em>(部分按需加载)。

请注意:在服务器启动期间在 Cache-2 中加载数据时会发生相同的检查。但是服务器启动时没有失败。

当系统试图从缓存 1 中检索值时，我们遇到异常:

java.lang.IllegalThreadStateException: Thread[hz._hzInstance_1_tpt-val-js-master.partition-operation.thread-1,5,main] cannot make remote call: com.hazelcast.map.impl.operation.GetOperation{serviceName='hz:impl:mapService', identityHash=1023062798, partitionId=234, replicaIndex=0, callId=0, invocationTime=-1 (1969-12-31 23:59:59.999), waitTimeout=-1, callTimeout=1800000, name=ConfigParamMap}
at com.hazelcast.spi.impl.operationservice.impl.Invocation.invoke0(Invocation.java:523)
at com.hazelcast.spi.impl.operationservice.impl.Invocation.invoke(Invocation.java:215)
at com.hazelcast.spi.impl.operationservice.impl.InvocationBuilderImpl.invoke(InvocationBuilderImpl.java:60)
at com.hazelcast.map.impl.proxy.MapProxySupport.invokeOperation(MapProxySupport.java:424)
at com.hazelcast.map.impl.proxy.MapProxySupport.getInternal(MapProxySupport.java:347)
at com.hazelcast.map.impl.proxy.NearCachedMapProxyImpl.getInternal(NearCachedMapProxyImpl.java:114)
at com.hazelcast.map.impl.proxy.MapProxyImpl.get(MapProxyImpl.java:116)
at com.tpt.atlant.grid.dao.hazelcast.DataHazelcastDAO.getData(DataHazelcastDAO.java:84)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl.getConfigParam(ConfigParamServiceImpl.java:33)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl.getBooleanValue(ConfigParamServiceImpl.java:52)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl$$FastClassBySpringCGLIB$$b698afe3.invoke(<generated>)
at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204)
at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:720)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:157)
at org.springframework.cache.interceptor.CacheInterceptor$1.invoke(CacheInterceptor.java:52)
at org.springframework.cache.interceptor.CacheAspectSupport.invokeOperation(CacheAspectSupport.java:345)
at org.springframework.cache.interceptor.CacheAspectSupport.execute(CacheAspectSupport.java:414)
at org.springframework.cache.interceptor.CacheAspectSupport.execute(CacheAspectSupport.java:327)
at org.springframework.cache.interceptor.CacheInterceptor.invoke(CacheInterceptor.java:61)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179)
at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:655)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl$$EnhancerBySpringCGLIB$$401b9858.getBooleanValue(<generated>)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.isBasisPl(TermDataJDBILoader.java:411)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.prepareInClauseFromList(TermDataJDBILoader.java:385)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.getCmdtyInstruments(TermDataJDBILoader.java:381)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.loadTermAttributes(TermDataJDBILoader.java:353)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.load(TermDataJDBILoader.java:263)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.load(TermDataJDBILoader.java:1)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader$$FastClassBySpringCGLIB$$f032653.invoke(<generated>)
at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204)
at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:651)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader$$EnhancerBySpringCGLIB$$b6e9411d.load(<generated>)
at com.tpt.atlant.grid.dao.loader.hazelcast.HazelcastMapLoader.load(HazelcastMapLoader.java:62)
at com.tpt.atlant.grid.dao.loader.hazelcast.HazelcastMapLoader.load(HazelcastMapLoader.java:33)
at com.tpt.atlant.grid.util.hazelcast.SpringContextMapLoaderFactory$DynamicSpringContectLoaderResolver.load(SpringContextMapLoaderFactory.java:223)
at com.tpt.atlant.grid.util.hazelcast.SpringContextMapLoaderFactory$DynamicSpringContectLoaderResolver.load(SpringContextMapLoaderFactory.java:179)
at com.hazelcast.map.impl.MapStoreWrapper.load(MapStoreWrapper.java:165)
at com.hazelcast.map.impl.mapstore.writethrough.WriteThroughStore.load(WriteThroughStore.java:72)
at com.hazelcast.map.impl.mapstore.writethrough.WriteThroughStore.load(WriteThroughStore.java:28)
at com.hazelcast.map.impl.recordstore.DefaultRecordStore.loadRecordOrNull(DefaultRecordStore.java:415)
at com.hazelcast.map.impl.recordstore.DefaultRecordStore.get(DefaultRecordStore.java:626)
at com.hazelcast.map.impl.operation.GetOperation.run(GetOperation.java:41)
at com.hazelcast.spi.Operation.call(Operation.java:148)
at com.hazelcast.spi.impl.operationservice.impl.OperationRunnerImpl.call(OperationRunnerImpl.java:202)
at com.hazelcast.spi.impl.operationservice.impl.OperationRunnerImpl.run(OperationRunnerImpl.java:191)
at com.hazelcast.spi.impl.operationexecutor.impl.OperationThread.process(OperationThread.java:120)
at com.hazelcast.spi.impl.operationexecutor.impl.OperationThread.run(OperationThread.java:100)
at ------ submitted from ------.(Unknown Source)
at com.hazelcast.spi.impl.operationservice.impl.InvocationFuture.resolve(InvocationFuture.java:127)
at com.hazelcast.spi.impl.operationservice.impl.InvocationFuture.resolveAndThrowIfException(InvocationFuture.java:79)
at com.hazelcast.spi.impl.AbstractInvocationFuture.get(AbstractInvocationFuture.java:162)
at com.hazelcast.map.impl.proxy.MapProxySupport.invokeOperation(MapProxySupport.java:425)
at com.hazelcast.map.impl.proxy.MapProxySupport.getInternal(MapProxySupport.java:347)
at com.hazelcast.map.impl.proxy.NearCachedMapProxyImpl.getInternal(NearCachedMapProxyImpl.java:114)
at com.hazelcast.map.impl.proxy.MapProxyImpl.get(MapProxyImpl.java:116)
at com.tpt.trade.grid.dao.hazelcast.TermDataNumberHazelcastDAO.getTermData(TermDataNumberHazelcastDAO.java:54)
at com.tpt.valuation.position.grid.value.action.BatchTermValueAction.execute(BatchTermValueAction.java:107)

抛出此异常的 Hazelcast 代码正在检查:操作键的分区 ID 是否与分区线程 ID 匹配。如果不是，则抛出异常。还有很多其他代码。

任何人都可以告诉我这个问题的根本原因吗？如果缓存设计有问题，那么这个异常应该每次都会发生。无法在具有 2 个或 3 个节点的开发人员机器上重现。但有时可以在测试机器上重现。

更新: 添加了完整的堆栈跟踪。我们实现了 MapLoader 以将数据加载到缓存中。

原因可能是:在直写操作期间，系统试图从具有不同 key 的不同缓存访问数据。

这个逻辑已有 1 年历史，运行良好。我们最近仅在测试环境中才开始收到此异常。

Answer 1

我们能够重现该问题。

我们正在维护二级缓存。因为我们在处理过程中将 cache1 键的数据保存在二级缓存中，所以不会每次都出现此问题。我们只是在每个 cache2.get(key) 之前清除了二级缓存以重现问题。

如果在cache2 hazelcast map中没有找到key的数据，那么系统会调用MapLoader的load方法。这里分区线程出现了，操作是通过操作写的。

在 Cache2 MapLoader 的加载方法中，我们试图从具有不同键类型的缓存 1 访问数据。由于Cache-1和Cache-2的key类型不同，分区不匹配导致“无法进行远程调用”异常。

问题:如果真的需要，有什么办法可以实现吗？

解决方案 1: 我们在 Cache2 MapLoader 的加载方法中使用 IExecutorService 来访问 Cache1 中的值。这工作正常。但这可能会增加数据加载时间，因为涉及额外的线程。

解决方案 2: 设置 Cache1 的备份计数 = 节点数 -1。这样，我们在每个节点上都有 map 副本。此异常永远不会发生，因为在运行时(每周一次)Cache1 中的任何更改都很少发生。记录数也不超过1000条。

还有其他方法可以实现吗？