apache-spark - 谁在 pyspark 中执行 python 代码

Question

我是 Spark 的新手，对 Spark 有一点疑问。
如果我写了一些 pyspark 代码，其中有一些 python 代码，如下所示

from datetime import datetime
now = datetime.now()
current_time = now.strftime("%H:%M:%S")
print("Current Time =", current_time)
df = spark.read.format("csv").option("delimiter", ",").load('countries.csv')
df = df.withColumn('C_DT',lit(current_time))
print("new column added")

这里是执行器运行 datetime.now 还是每个执行器运行命令。
谁运行打印命令、执行程序或驱动程序。

Answer 1

打印命令和 datetime.now()在 Spark 驱动程序中执行。 current_time将在下一个操作命令时传递给执行程序以将其实际添加到 DataFrame。
时print("new column added")只有df的架构已更改，并且没有完成任何实际工作。