apache-spark - 如果有很多字段，如何让 pyspark 显示整个查询计划而不是...？

Question

Spark v2.4

spark = SparkSession \
    .builder \
    .master('local[15]') \
    .appName('Notebook') \
    .config('spark.sql.debug.maxToStringFields', 2000) \
    .config('spark.sql.maxPlanStringLength', 2000) \
    .config('spark.debug.maxToStringFields', 2000) \
    .getOrCreate()

df = spark.createDataFrame(spark.range(1000).rdd.map(lambda x: range(100)))
df.repartition(1).write.mode('overwrite').parquet('test.parquet')

df = spark.read.parquet('test.parquet')
df.select('*').explain()

== Physical Plan ==

 ReadSchema: struct<_1:bigint,_2:bigint,_3:bigint,_4:bigint,_5:bigint,_6:bigint,_7:bigint,_8:bigint,_9:bigint,...

注意:spark.debug.maxToStringFields 通过扩展 FileScan parquet [_1#302L，_2#303L，... 76 个更多字段] 有所帮助，但不是架构部分。

注2:我不仅对ReadSchema感兴趣，还对PartitionFilters、PushedFilters...感兴趣，它们都被截断了。

更新

Spark 3.0 引入了 explain('formatted')，它以不同的方式布局信息并且不应用截断。

Answer 1

Spark 3.0 引入了 explain('formatted')，它以不同的方式布局信息并且不应用截断。