Azure 数据工厂 v2 - 从 parquet 复制到 SQL DB 的年份错误

Question

我在使用 Azure 数据工厂 v2 时遇到了一个奇怪的问题。有一个 Spark 作业正在运行并生成 parquet 文件作为输出，然后 ADFv2 复制事件获取输出 parquet 并将数据复制到 Azure SQL 数据库中。除了日期之外，一切正常!当数据到达 SQL 时，已经是 1969 年了。因此今天的日期 (2018-11-22) 将显示为 3987-11-22。

我尝试更改日期、日期时间、日期时间偏移和字符串之间的源和目标类型，但没有成功。目前我正在更正数据库中的日期，但这并不是很理想。

我已使用 Parquet Viewer、Spark 和 Python(桌面)打开源 parquet 文件，它们都正确地将年份显示为 2018

Answer 1

基于Parquet encoding definitions ，不存在 Date、DateTime、DateTimeOffset 和 String 格式，因此您无需尝试使用这些格式。

基于此Data type mapping for Parquet files在 Azure 数据工厂中:

DateTimeOffset格式对应于Int96，我建议您在parquet文件的源上尝试这种传输。