gpt4 book ai didi

hadoop - Spark 上的 Apache pig

转载 作者:可可西里 更新时间:2023-11-01 16:14:15 24 4
gpt4 key购买 nike

我正在使用 hadoop2.2.0、cassandra2.0.6、pig0.12 和 spark1.0.1。我正在使用 Pig 使用 CassandraStorage 处理程序从 cassandra 读取数据并进行分析操作。我知道 spark 接受 hadoop 输入格式( pig )数据。所以我想通过 pig 查询将读取的数据传递给 spark。我该怎么做,有什么建议吗?

最佳答案

您可以将数据存储在 HDFS 中,然后从 Spark 中读取。 Spark 实际上是从 HDFS 读取的。如果您在 Spark 中使用名称而不是索引(作为 Pig 中的别名),您可以创建一个案例类来提供名称。

关于hadoop - Spark 上的 Apache pig ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25337292/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com