apache-spark - PySpark:我需要重新缓存 DataFrame 吗？

Question

假设我有一个数据框:

rdd = sc.textFile(file)
df = sqlContext.createDataFrame(rdd)
df.cache()

我添加一列
df = df.withColumn('c1', lit(0))
我想用 df反复。所以我需要重新- cache()数据框，还是 Spark 自动为我做？

Answer 1

每次操作/更改数据框时，您都必须再次重新缓存数据框。但是，不必重新计算整个数据帧。

df = df.withColumn('c1', lit(0))

在上面的语句中，一个新的数据帧被创建并重新分配给变量 df .但是这次只计算新列，其余的从缓存中检索。