python - col 函数如何知道我们引用的是哪个 DataFrame？

Question

我一直对 Spark 中的 col 函数感到有点困惑，无论是在 Python 还是 Scala 中。看来:

Scala 中的

df.col("zipcode") 相当于

Python 中的

df["zipcode"] 和 spark.sql.functions.col("zipcode")。

最后一次使用 https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.functions.col这让我很困惑。 Spark.sql.functions.col如何知道我们指的是哪个Python DataFrame？我们只是传递列的名称。

Answer 1

col 函数指的是您正在执行转换(选择、连接等)的数据帧。如果您想选择 DataFrame 列之一，您应该执行以下操作:

# you can import the col function directly
from pyspark.sql.functions import col 
 
# Imagine your df columns are: id, name, age

df.select(col("id"))

这意味着您正在从数据帧“df”中选择列“id”。选择引用您的 DataFrame 对象。您正在将列对象传递给您正在使用的当前 DataFrame。