apache-spark - 尝试将 Spark 1.6.X Parquet 读入 Spark 2.X 的警告

Question

当尝试将 spark 1.6.X parquet 文件加载到 spark 2.X 时，我看到很多 WARN水平陈述。

  16/08/11 12:18:51 WARN CorruptStatistics: Ignoring statistics because created_by could not be parsed (see PARQUET-251): parquet-mr version 1.6.0
  org.apache.parquet.VersionParser$VersionParseException: Could not parse created_by: parquet-mr version 1.6.0 using format: (.+) version ((.*) )?\(build ?(.*)\)
    at org.apache.parquet.VersionParser.parse(VersionParser.java:112)
    at org.apache.parquet.CorruptStatistics.shouldIgnoreStatistics(CorruptStatistics.java:60)
    at org.apache.parquet.format.converter.ParquetMetadataConverter.fromParquetStatistics(ParquetMetadataConverter.java:263)
    at org.apache.parquet.format.converter.ParquetMetadataConverter.fromParquetMetadata(ParquetMetadataConverter.java:567)
    at org.apache.parquet.format.converter.ParquetMetadataConverter.readParquetMetadata(ParquetMetadataConverter.java:544)
    at org.apache.parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:431)
    at org.apache.parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:386)
    at org.apache.spark.sql.execution.datasources.parquet.SpecificParquetRecordReaderBase.initialize(SpecificParquetRecordReaderBase.java:107)
    at org.apache.spark.sql.execution.datasources.parquet.VectorizedParquetRecordReader.initialize(VectorizedParquetRecordReader.java:109)
    at org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat$$anonfun$buildReader$1.apply(ParquetFileFormat.scala:369)
    at org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat$$anonfun$buildReader$1.apply(ParquetFileFormat.scala:343)
    at [rest of stacktrace omitted]

我正在运行 2.1.0 版本，并且有很多这样的警告。有什么方法 - 除了将日志记录级别更改为 ERROR - 来抑制这些？

似乎这些是修复的结果 - 但警告可能尚未删除。以下是该 JIRA 的一些详细信息:

https://issues.apache.org/jira/browse/SPARK-17993

I have built the code from the PR and it indeed succeeds reading the data. I have tried doing df.count() and now I'm swarmed with warnings like this (they are just keep getting printed endlessly in the terminal):

将日志记录级别设置为 ERROR是最后的方法:它正在吞噬我们依赖于标准监控的消息。有没有人找到解决方法？

Answer 1

目前 - 即直到/除非这个 Spark / Parquet 错误被修复 - 我将在 log4j.properties 中添加以下内容:

log4j.logger.org.apache.parquet=ERROR   

地点是:

针对外部 Spark 服务器运行时:$SPARK_HOME/conf/log4j.properties

在本地运行时 Intellij (或其他 IDE):src/main/resources/log4j.properties