gpt4 book ai didi

apache-spark - 如何在 Spark 中命名 DataFrame 以使 DAG 图更易于阅读?

转载 作者:行者123 更新时间:2023-12-05 07:30:04 25 4
gpt4 key购买 nike

在 Spark 中,经过几次连接后 DAG 图会变得相当复杂,例如:

enter image description here

有没有办法让它更容易理解,首先,命名 Spark 数据集,其次,用它计算(或帮助计算)的数据集标记每个阶段,以便我们可以将阶段追溯到代码?

最佳答案

你可以将rdd命名为

yourrdd.setName(“ABCD”)

关于apache-spark - 如何在 Spark 中命名 DataFrame 以使 DAG 图更易于阅读?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52500500/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com