gpt4 book ai didi

scala - Spark :How to use join method?

转载 作者:行者123 更新时间:2023-12-02 15:30:14 36 4
gpt4 key购买 nike

现在我有 2 个 RDD 要加入,但是当我输入“.join”时,我的 IDE 找不到这个符号,它告诉我“无法解析符号加入”。我已经使用 maven 构建我的项目并将函数重新导入到处理我的依赖。我错过了一些依赖吗?有人可以告诉我如何解决吗?谢谢!

最佳答案

您需要通过导入 org.apache.spark.SparkContext._ 来启用 Spark 隐式转换,以访问(键,值)对 RDD 上可用的额外函数。

import org.apache.spark.SparkContext._

val p1: RDD[(K, V)] = ...
val p2: RDD[(K, W)] = ...
val joined: RDD[(K, (V, W))] = p1.join(p2)

关于scala - Spark :How to use join method?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27706922/

36 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com