apache-spark - 水平堆叠 Spark 数据帧 - 相当于 pandas concat 或 r cbind

Question

有没有办法附加一个 dataframe水平到另一个 - 假设两者都有相同的行数？

这相当于 pandas concat来自 axis=1 ;

result = pd.concat([df1, df4], axis=1) 

或 R cbind

Answer 1

不会有一个。与 Pandas 不同 DataFrame , 星火 DataFrame更像是一种关系，没有内在的秩序。

有一种已知模式，您可以在其中将数据转换为 RDD , zipWithIndex ( PySpark DataFrames - way to enumerate without converting to Pandas? ) 然后是 join使用索引字段，但它最终是一个反模式*。

* 如果我们不明确保证特定的顺序(并且谁知道在所有新花里胡哨的情况下会发生什么，例如基于成本的优化器和自定义优化器规则)，那么它很容易变得脆弱，并以某种意想不到的方式悄无声息地失败。