apache-spark - spark parquet 读写中的类型更改支持

Question

我在通过 Spark 阅读 Parquet 时遇到了一个问题。

一个 Parquet 文件已写入字段 a类型 Integer .之后，使用 a 的架构读取此文件如 Long给出异常(exception)。

Caused by: java.lang.UnsupportedOperationException: Unimplemented type: LongType at org.apache.spark.sql.execution.datasources.parquet.VectorizedColumnReader.readIntBatch(VectorizedColumnReader.java:397) at org.apache.spark.sql.execution.datasources.parquet.VectorizedColumnReader.readBatch(VectorizedColumnReader.java:199) at org.apache.spark.sql.execution.datasources.parquet.VectorizedParquetRecordReader.nextBatch(VectorizedParquetRecordReader.java:263) at org.apache.spark.sql.execution.datasources.parquet.VectorizedParquetRecordReader.nextKeyValue(VectorizedParquetRecordReader.java:161) at org.apache.spark.sql.execution.datasources.RecordReaderIterator.hasNext(RecordReaderIterator.scala:39) at org.apache.spark.sql.execution.datasources.FileScanRDD$$anon$1.hasNext(FileScanRDD.scala:106)

我认为支持这种兼容的类型更改。但这是行不通的。

这段代码片段:

val oldSchema = StructType(StructField("a", IntegerType, true) :: Nil)

val df1 = spark.read.schema(oldSchema).json("/path/to/json/data")

df1.write.parquet("/path/to/parquet/data")

val newSchema = StructType(StructField("a", LongType, true) :: Nil)

spark.read.schema(newSchema).parquet("/path/to/parquet/data").show()

对此的任何帮助都非常感谢。

Answer 1

由于 parquet 是 Hadoop 的基于列的存储格式，因此它也保留了数据的数据类型。因此，在读取具有不同数据类型的 Parquet 时，即使它正在向上转换，也不会自动处理。
你需要专门投数据

val colarraywithcast = Array(col("eid"),col("did"),col("seal").cast(LongType))
    
df.select(colarraywithcast:_*).printSchema