cassandra - 集群中的两个节点向彼此显示 DN，向其他所有人显示 UN

Question

我有一个九节点 Cassandra 集群，一切似乎都运行良好，除了我的两台服务器相互显示为 DN。集群中的所有其他节点将所有节点显示为 UN。这两个显示除彼此之外的所有节点 UN，其中它们彼此显示为 DN。两台服务器上的 system.log 中都没有指示问题的错误。所有节点都列为整个集群的种子节点。我能够在端口 7001 上的服务器之间进行远程登录，所以我认为这不是网络问题。我们正在使用节点间通信加密，所以我想知道这是否是一个问题？

64.6.220.249 上的相关 Nodetool 状态片段:

DN  64.6.220.251    106.19 GB  256     ?       e008bc26-5d12-48b5-a381-6a175b085496  Rack1

64.6.220.251 上的相关 Nodetool 状态片段:

DN  64.6.220.249    105.31 GB  256     ?       59709c2a-6270-40be-a444-042bdf18873e  Rack1

来自集群中另一个节点的相关 Nodetol 状态片段(所有节点都显示这个，除了上面两个):

UN  64.6.220.251    106.19 GB  256     ?       e008bc26-5d12-48b5-a381-6a175b085496  Rack1
UN  64.6.220.249    105.31 GB  256     ?       59709c2a-6270-40be-a444-042bdf18873e  Rack1

GossipInfo 从 64.6.220.249 运行:

/64.6.220.251
generation:1473238188
  heartbeat:12693992
  SCHEMA:a7b7f6f4-24ba-3153-90cc-dc8ad2754251
  RACK:Rack1
  SEVERITY:0.0
  RPC_ADDRESS:64.6.220.251
  HOST_ID:e008bc26-5d12-48b5-a381-6a175b085496
  INTERNAL_IP:64.6.220.251
  X_11_PADDING:{"workload":"Cassandra","active":"true"}
  LOAD:1.14019618013E11
  NET_VERSION:8
  DC:Cassandra-ALPHA
  RELEASE_VERSION:2.1.5.469
  STATUS:NORMAL,-1122920019547920198

GossipInfo 从 64.6.220.251 运行:

  /64.6.220.249
  generation:1473237564
  heartbeat:12696040
  RACK:Rack1
  DC:Cassandra-ALPHA
  RPC_ADDRESS:64.6.220.249
  SCHEMA:a7b7f6f4-24ba-3153-90cc-dc8ad2754251
  INTERNAL_IP:64.6.220.249
  SEVERITY:0.0
  X_11_PADDING:{"workload":"Cassandra","active":"true"}
  RELEASE_VERSION:2.1.5.469
  NET_VERSION:8
  LOAD:1.13072884091E11
  HOST_ID:59709c2a-6270-40be-a444-042bdf18873e
  STATUS:NORMAL,-1027844444513030305

Nodetool describecluster 来自 64.6.220.249:

Cluster Information:
    Name: Fusion Cluster
    Snitch: org.apache.cassandra.locator.DynamicEndpointSnitch
    Partitioner: org.apache.cassandra.dht.Murmur3Partitioner
    Schema versions:
        a7b7f6f4-24ba-3153-90cc-dc8ad2754251: [64.6.220.254, 170.75.212.226, 170.75.212.225, 64.6.220.252, 170.75.212.224, 64.6.220.253, 64.6.220.250, 64.6.220.249]

        UNREACHABLE: [64.6.220.251]

来自 64.6.220.251 的 Nodetool describecluster:

Cluster Information:
    Name: Fusion Cluster
    Snitch: org.apache.cassandra.locator.DynamicEndpointSnitch
    Partitioner: org.apache.cassandra.dht.Murmur3Partitioner
    Schema versions:
        a7b7f6f4-24ba-3153-90cc-dc8ad2754251: [64.6.220.254, 170.75.212.226, 170.75.212.225, 64.6.220.252, 170.75.212.224, 64.6.220.253, 64.6.220.250, 64.6.220.251]

        UNREACHABLE: [64.6.220.249]

谁能指出正确的方向，说明为什么这两个节点将彼此显示为“DN”，即使所有其他节点都将它们视为“UN”？

Answer 1

这种“鱼龙混杂”的八卦状态我以前见过。发生这种情况时，通常会在报告为“DN”的节点上弹回 cassandra 进程来修复它。

此外，当您看到它时，运行 nodetool describecluster 也是一个好主意。您应该检查结果以确保您只有一个模式版本。如果您有多个架构版本(称为“架构不一致”)，最好也退回那些受影响的节点。

我不完全确定为什么会发生这种情况，但一个促成因素是将太多节点指定为“种子节点”。当您有太多种子节点时，它们的八卦状态可能需要更长的时间才能同步，这可能会导致这种情况。