hadoop - 在 cassandra 集群上使用 hive 映射减少

Question

您好，我正在使用 datastax enterprise 进行 hadoop 和 cassandra 集成。我已经配置了 3 个 cassandra 节点和 2 个分析节点(配置单元将在其上运行)。

所以我很困惑，如果有一些数据不存在于 hive 节点上，而是存在于 cassandra 节点上，它会不会在 map reduce 期间被处理，或者 map reduce 将从 cassandra 节点中提取数据并运行 map reduce。请帮忙

所以我有 4 台机器(复制因子 3)

machine 1) cassandra node|token value=0         |data owned(25%)
machine 2)-cassandra node|token value=2^127*.5  |data owned(33%)
machine 3)-analytics node|token value=2^127*.25 |data owned(33%)
machine 4) analytics node|token value=2^127*.75 |data owned(8%)

他们不应该各拥有 25% 的股份吗此外，我现在认为数据将在所有节点中复制，而不仅仅是 3 个节点

Answer 1

DSE 将确保将您的数据集的完整副本复制到您指定为分析的任何一组节点。所以这通常不是问题。如果足够多的分析节点发生故障，它可能必须转到非分析节点来获取数据……但最好建议您将分析节点重新联机。