gpt4 book ai didi

apache-spark - 如何从 RDD 中获取最后一个值?

转载 作者:行者123 更新时间:2023-12-04 02:04:22 25 4
gpt4 key购买 nike

我想获取RDD的最后一个值,这是我的代码:

 val rdd=sc.parallelize(0 to 10,1)
val last=rdd.sortBy(x=>{x},false,1).first()
println(last)

效率太低了,谁有更好的办法?谢谢!

最佳答案

如果你想在排序后得到最后一个值,你可以使用max函数

rdd.max()

或者你可以使用top函数

rdd.top(1)

关于apache-spark - 如何从 RDD 中获取最后一个值?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44643538/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com