Azure数据工厂无法将字符串列值转换为日期时间

Question

我正在使用现有的 ADF 管道将数据从 blob 复制到 sql。我的源数据具有类似“20000101”的列值。当 ADF 尝试将其从字符串转换为日期时间格式时，我收到错误。我正在使用 json 翻译器，例如“dateTimeFormat”:“yyyy-MM-dd HH:mm:ss.fff”。但最终仍然会出现错误，因为“转换值‘20000101’时发生异常，无法将字符串转换为日期时间类型。

有什么建议吗？

注意:我只能通过 json 映射来处理这个问题。无法编辑现有管道。这里有什么可能性吗？

Answer 1

无论 Blob 中的数据还是本地 NFS 中的数据，数据工厂副本事件都无法将“20000101”转换为日期时间。即使我们将其设置为日期时间列。

"errorCode": "2200",
    "message": "ErrorCode=TypeConversionFailure,Exception occurred when converting value '20000101' for column name 'dd' from type 'String' (precision:, scale:) to type 'DateTime' (precision:, scale:). Additional info: String was not recognized as a valid DateTime."

为了实现这一点，我们必须在数据流中进行一些数据转换:DerivedColumn :

表达式:

toTimestamp(toDate(concat(substring(dd,0, 4), '-',substring(dd,5, 2),'-',substring(dd,7, 2))))

然后它可能会映射到您的接收器表。