apache-spark - Spark Parquet 读取错误 : java. io.EOFException:到达流的末尾，还有 XXXXX 个字节可供读取

Question

在 Spark 中读取 Parquet 文件时，如果您遇到以下问题。

应用程序 > 线程“main”org.apache.spark.SparkException 中的异常:由于阶段失败而中止作业:阶段 2.0 中的任务 0 失败 4 次，最近失败:阶段 2.0 中丢失任务 0.3(TID 44、10.23.5.196、执行程序 2): java.io.EOFException: 到达流的末尾，还有 193212 个字节可供读取
应用程序 > 在 org.apache.parquet.io.DelegatingSeekableInputStream.readFully(DelegatingSeekableInputStream.java:104)
应用程序 > 在 org.apache.parquet.io.DelegatingSeekableInputStream.readFullyHeapBuffer(DelegatingSeekableInputStream.java:127)
应用程序 > 在 org.apache.parquet.io.DelegatingSeekableInputStream.readFully(DelegatingSeekableInputStream.java:91)
应用程序 > 在 org.apache.parquet.hadoop.ParquetFileReader$ConsecutiveChunkList.readAll(ParquetFileReader.java:1174)
应用程序 > 在 org.apache.parquet.hadoop.ParquetFileReader.readNextRowGroup(ParquetFileReader.java:805)
应用程序 > 在 org.apache.spark.sql.execution.datasources.parquet.VectorizedParquetRecordReader.checkEndOfRowGroup(VectorizedParquetRecordReader.java:301)
应用程序 > 在 org.apache.spark.sql.execution.datasources.parquet.VectorizedParquetRecordReader.nextBatch(VectorizedParquetRecordReader.java:256)
应用程序 > 在 org.apache.spark.sql.execution.datasources.parquet.VectorizedParquetRecordReader.nextKeyValue(VectorizedParquetRecordReader.java:159)
应用程序 > 在 org.apache.spark.sql.execution.datasources.RecordReaderIterator.hasNext(RecordReaderIterator.scala:39)
应用程序 > 在 org.apache.spark.sql.execution.datasources.FileScanRDD$$anon$1.hasNext(FileScanRDD.scala:124)
应用程序 > 在 org.apache.spark.sql.execution.datasources.FileScanRDD$$anon$1.nextIterator(FileScanRDD.scala:215)

对于以下 spark 命令:

val df = spark.read.parquet("s3a://.../file.parquet")
df.show(5, false)

Answer 1

我认为你可以绕过这个问题

--conf  spark.sql.parquet.enableVectorizedReader=false