azure - Synapse 自动转换 ISO 日期字符串参数 yyyy-mm-ddThh :mm:ss into mm/dd/yyyy hh:mm:ss

Question

我正在尝试通过传递时间戳作为命令行参数来使用 Synapse 管道运行 Spark 作业。在与 Spark 作业相关的代码运行之前，synapse 正在将字符串命令行参数值从 ISO 格式 2019-04-25T09:00:00 转换为 04/25/2019 09:00:00 ，并且它会抛出错误，因为我的 Spark 代码旨在仅解析 ISO 格式的日期。

有谁知道突触为什么或如何转换时间戳参数。如何让突触将命令行参数按原样传递给 Spark 代码。

此外，我从 synapse/monitor UI 部分的 Spark 作业的 I/p 中看到，synapse 在参数末尾添加了 Z (2019-04-25T09:00:00Z)。

错误标准输出驱动程序:无法在索引 0 处解析文本“04/25/2019 09:00:00”

我尝试仅传递 2019-04-25，但仍然失败，提示无法在索引 10 处解析文本“04/25/2019”

管道: enter image description here

Spark Job:没有任何命令行参数(它们仅通过管道传递)

Answer 1

显然，它没有正确读取时间戳。尝试在命令行中进行转换，如下所示:

toTimestamp('2019-04-25T09:00:00','YYYY-MM-DDThh:mm:ss')