gpt4 book ai didi

scala - 获取一系列 Spark RDD 的列

转载 作者:行者123 更新时间:2023-12-04 15:20:57 29 4
gpt4 key购买 nike

现在我的 RDD 中有 300 多列,但我发现需要动态选择一系列列并将它们放入 LabledPoints 数据类型。作为 Spark 的新手,我想知道是否有任何索引方式来选择 RDD 中的一系列列。类似 temp_data = data[, 101:211]在 R 中。是否有类似 val temp_data = data.filter(_.column_index in range(101:211)... 的内容? ?

任何想法都受到欢迎和赞赏。

最佳答案

如果它是一个 DataFrame,那么这样的事情应该可以工作:

val df = rdd.toDF
df.select(df.columns.slice(101,211) : _*)

关于scala - 获取一系列 Spark RDD 的列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31600580/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com