gpt4 book ai didi

apache-spark - Spark 中的 Dataset.col() 和 functions.col() 有什么区别?

转载 作者:行者123 更新时间:2023-12-04 22:55:43 24 4
gpt4 key购买 nike

这是一些声明:https://stackoverflow.com/a/45600938/4164722

Dataset.col returns resolved column while col returns unresolved column.



有人可以提供更多细节吗?我应该何时使用 Dataset.col() 以及何时使用 functions.col

谢谢。

最佳答案

在大多数情况下,没有实际区别。例如:

val df: Dataset[Row] = ???

df.select(df.col("foo"))
df.select(col("foo"))

是等价的,等同于:
df.where(df.col("foo") > 0)
df.where(col("foo") > 0)

当出处很重要时,差异变得很重要,例如加入:
val df1: Dataset[Row] = ???
val df2: Dataset[Row] = ???

df1.join(df2, Seq("id")).select(df1.col("foo") =!= df2.col("foo"))

因为 Dataset.col已解决并绑定(bind)到 DataFrame它允许您明确地选择从特定父级降序的列。 col 是不可能的.

关于apache-spark - Spark 中的 Dataset.col() 和 functions.col() 有什么区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47965108/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com