scala - Spark 截断的 Spark 计划

Question

我面临以下问题:打印执行计划时，我无法查看所有推送的过滤器。

执行的代码是

println(df.queryExecution.executedPlan.treeString(true))

打印所有计划，在推送过滤字段中如下

 PushedFilters: [IsNotNull(X1), IsNotNull(X2), IsNotNull(X2), IsNotNull(X3..., ReadSchema: 

正如您可能注意到的，它并没有完全打印出来。此外，为了解决这个问题，我修改了spark-default.conf中的以下属性

spark.debug.maxToStringFields    120000

不幸的是，前面的方法并没有解决问题。

关于如何克服这个问题有什么建议吗？

Answer 1

目前已硬编码 [ 1 , 2 ] 从 Spark 3.0.1 开始最多为 100 个字符，但它是 fixed最近引入了一个新引入的配置键 spark.sql.maxMetadataStringLength，默认为 100。