gpt4 book ai didi

Hadoop Cassandra集成设计

转载 作者:可可西里 更新时间:2023-11-01 14:41:18 25 4
gpt4 key购买 nike

我有 3 个 Cassandra 节点 让我们说 c1、c2 和 c3。我想将 Hadoop 与 Cassandra 集成,这样我就可以在 Hadoop 上运行我的 pig 脚本来从 Cassandra 读取数据并进行分析。所以我已经像这样设置了 hadoop h1 作为名称节点,h2 作为数据节点,c1 作为数据节点,c3 作为数据节点。这里的 h2 节点是唯一的 hadoop 数据节点,而不是任何 Cassandra 节点。我的问题是在通过 pig/mapredude 读取和处理数据时是否使用 h2 数据节点?

最佳答案

如果我错了请纠正我,但是您不需要在所有 cassandra 节点上安装 hadoop 数据节点吗?我的理解是 map-reduce 在减少数据之前使用 HDFS 数据节点来存储中间结果。所以我觉得用H2是很有可能的。这是我的猜测,我期待更正

关于Hadoop Cassandra集成设计,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23429559/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com