gpt4 book ai didi

hadoop - PiG + Cassandra + Hadoop

转载 作者:可可西里 更新时间:2023-11-01 14:52:32 25 4
gpt4 key购买 nike

我在 Cassandra (3.7) 集群上安装了 Hadoop (2.7.2)。我对使用 Hadoop MapReduce 没有任何问题。同样,我在 CQLSH 中创建表和键空间也没有问题。但是,我一直在尝试通过 hadoop 安装 PIG,以便访问 Cassandra 中的表。 (PIG 的安装非常好)这就是我遇到问题的地方。

我访问过很多网站,大多数要么是针对 Cassandra 的过时版本,要么就是含糊不清。我从该网站收集到的一件事是,我们可以使用 CqlStorage/CqlNativeStorage 加载访问 pig 中的 cassandra 表。但是,在最新版本中,似乎已删除此支持(自 2015 年起)。 Changes noted from Cassandra Git Tree现在我的问题是,是否有任何解决方法?

我会在 cassandra 表上运行 mapreduce 作业,并主要使用 PiG 进行查询。

提前致谢。

最佳答案

所有 pig 支持在 2.2 中已弃用并在 3.0 中删除。 https://issues.apache.org/jira/browse/CASSANDRA-10542

所以我认为你在这里有点不走运。您也许可以将旧类与现代 C* 一起使用,但 Pig 现在非常小众。 SparkSql 绝对是当前最喜欢的 child (我可能有偏见,因为我在 Spark + Cassandra 连接器上工作)并且允许非常灵活地查询 C* 数据。

关于hadoop - PiG + Cassandra + Hadoop,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38342396/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com