datetime - Spark的int96时间类型

Question

当您在 Spark 中创建时间戳列并保存到 parquet 时，您将获得一个 12 字节整数列类型 (int96)；我收集的数据分为 6 个字节(儒略日)和 6 个字节(纳秒)。

这不符合任何 Parquet logical type 。那么， Parquet 文件中的架构不会指示该列不是整数。

我的问题是，Spark 如何知道将这样的列加载为时间戳而不是大整数？

Answer 1

语义是根据元数据确定的。我们需要一些进口:

import org.apache.parquet.hadoop.ParquetFileReader
import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.hadoop.conf.Configuration

示例数据:

val path = "/tmp/ts"

Seq((1, "2017-03-06 10:00:00")).toDF("id", "ts")
  .withColumn("ts", $"ts".cast("timestamp"))
  .write.mode("overwrite").parquet(path)

和 Hadoop 配置:

val conf = spark.sparkContext.hadoopConfiguration
val fs = FileSystem.get(conf)

现在我们可以访问 Spark 元数据:

ParquetFileReader
  .readAllFootersInParallel(conf, fs.getFileStatus(new Path(path)))
  .get(0)
  .getParquetMetadata
  .getFileMetaData
  .getKeyValueMetaData
  .get("org.apache.spark.sql.parquet.row.metadata")

结果是:

String = {"type":"struct","fields: [
  {"name":"id","type":"integer","nullable":false,"metadata":{}},
  {"name":"ts","type":"timestamp","nullable":true,"metadata":{}}]}

等效信息也可以存储在 Metastore 中。

根据官方文档，这是用来实现与 Hive 和 Impala 的兼容性:

Some Parquet-producing systems, in particular Impala and Hive, store Timestamp into INT96. This flag tells Spark SQL to interpret INT96 data as a timestamp to provide compatibility with these systems.

并且可以使用spark.sql.parquet.int96AsTimestamp属性进行控制。