gpt4 book ai didi

apache-spark - 如何在 sparkR 中绑定(bind)两个数据框列?

转载 作者:行者123 更新时间:2023-12-04 04:00:25 25 4
gpt4 key购买 nike

如何在spark 1.4的SparkR中绑定(bind)两列dataframe

TIA,阿伦

最佳答案

没有办法做到这一点。这是一个关于 scala 中 spark (1.3) 的问题。能够做到这一点的唯一方法是使用某种 row.numbering,因为这样您就可以加入 row.number。为什么?因为您只能根据其他已经存在的列连接表或添加列

data1 <- createDataFrame(sqlContext, data.frame(a=c(1,2,3)))
data2 <- createDataFrame(sqlContext, data.frame(b=c(2,3,4)))

然后

withColumn(data1,"b",data1$a + 1)

是允许的,但是

withColumn(data1,"b",data2$b)

不是。从 Spark 将您的 DataFrame 切成 block 来存储它的那一刻起,它不知道如何绑定(bind)它们(它不知道行排序),只有当您有 row.numbers 时。

关于apache-spark - 如何在 sparkR 中绑定(bind)两个数据框列?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31589222/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com