gpt4 book ai didi

apache-spark - Spark : Extract dataframe from logical plan

转载 作者:行者123 更新时间:2023-12-04 03:12:39 25 4
gpt4 key购买 nike

这行代码将一个dataFrame转换为一个逻辑计划

val logical = df.queryExecution.logical

我们可以做相反的事情,即从逻辑计划中提取所使用的数据帧吗?

最佳答案

在数据集对象中有一个方法:

def ofRows(sparkSession: SparkSession, logicalPlan: LogicalPlan)

因此,如果您有一个合乎逻辑的计划,您可以通过调用 Dataset.ofRows(sparkSession, logical)

将其转换为 DataFrame

关于apache-spark - Spark : Extract dataframe from logical plan,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43763246/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com