cassandra - 使用中国数据中心 (CGF) 扩展 Cassandra 集群

Question

我需要使用一个新的数据中心扩展我的集群，以便在中国大陆出现在防火墙后面。目前我在美国和欧洲都有数据中心 - 所以集群已经符合 Geographical Location Scenario 的要求.

到这里我已经为Cassandra准备好了中文基础设施，但是这几天的网络统计有点麻烦，我有点害怕:这是否以及如何影响我当前的集群 新的数据中心是否会发挥作用？

我对此的实际问题是:

Cassandra 如何处理复制过程中的大量丢包？ (有时高达 40%)

当两个数据中心之间的网络连接非常糟糕(只有几千比特/秒和上述延迟)数小时时，它如何影响集群？

中国dc会被认为是死的吗？或者 Cassandra 仍会尝试使用有限的带宽？

这会对非中国数据中心造成任何问题吗？例如它们变慢，导致客户端请求超时。

是否有可能以某种方式强制执行，只有我的一个非中国数据中心与中国数据中心通信？或者我应该相信 Cassandra 会处理这个问题？ (尽量避免可能损害我所有的数据中心)

有没有办法加快初始数据复制( nodetool rebuild )，因为以目前的速度复制我们当前的数据需要数周时间。

欢迎任何建议或评论，谢谢!

Answer 1

How does Cassandra handle huge packet-loss during replication? (occasionally up to 40%)

通常丢包会导致大量的读修复。在某些情况下，它可能会导致请求失败，具体取决于复制因子和一致性。此外，准备好进行非常昂贵的维修，这将产生大量微小的 SSTables 和大量的 IO。

我建议对开发需求进行测试，以查看系统中的实际行为。有很多 tools模拟不良网络。

How does it effect the cluster when the network connection between two datacenters are really bad (only few kilobits/sec and latency as above) for hours? Will the chinese dc considered as dead? Or Cassandra will still try to use the limited bandwidth? Can this cause any problem on the non-chinese datacenters?

这在很大程度上取决于您正在运行的一致性级别/复制因子有多糟糕和什么。在某些情况下，它只会导致集群之间的延迟相当高。但是，如果连接足够糟糕，节点将开始将另一个标记为关闭 - 那么您正在查看所有数据中心中的问题。您现有的数据中心将因请求超时而导致性能下降。这反过来会导致请求在内存中保留更长时间，从而导致 GC。 (它也可能导致其他集群中的许多其他问题)

可以调整和微调故障检测器的灵敏度阈值以适合您的用例。 phi_convict_threshold 是一个可以降低节点被标记为关闭的可能性的设置。您可以找到更多相关信息 here .如果您发现您的节点由于无响应而未被标记的最佳位置，您可以让 Cassandra 利用它必须使用的一点点。

Is it possible to enforce somehow, that only one of my non-chinese datacenter communicates with the chinese one? Or should I trust that Cassandra will handle this? (trying to avoid to possible harm all my datacenters)

没有真正的方法可以告诉 Cassandra 限制要与哪些数据中心通话。您对包含在复制因子中的数据中心之间的通信有点卡住了。

Is there any way to fasten up the initial data replication (nodetool rebuild), because with the current speed it would take weeks to replicate our current data.

我建议不要使用 sstableloader 的解决方案，因为它的功能与重建非常相似，并且需要快照才能运行。如果网络是导致速度缓慢的原因，那么改变流媒体的方式不会有太大的不同。

在我看来，首先要做的是衡量系统的瓶颈在哪里。如果慢速网络确实是瓶颈，则可以添加更多节点以同时从更多源流式传输，但最终您仍然会受到慢速网络连接的阻碍。