azure - 当 Azure 数据工厂中的文件数据或版本更新时突出显示更新的值

Question

我在 Azure 数据工厂中创建了一个数据流来查找两个文件之间的差异，这两个文件具有相同的列和结构。我想查找/突出显示每个值的更改，而不是将更新的行作为我当前获得的输出。

示例:

电流输出 -

<表类=“s-表”><标题>否。名称电子邮件 <正文>1 jack [email protected]

期望的输出 -

<表类=“s-表”><标题>否。名称电子邮件 <正文> jack

我希望获取行中未更改的数据为 NA 或空白，或者以某种方式突出显示已更改的数据。

数据流 -

感谢您的帮助

Answer 1

我认为你应该使用 CRC 函数(类似于 crc32(columns()) 并获取文件每行的哈希值以及 hash1=hash2 上的连接，它应该为您提供所有尚未更新且完全匹配的行。

对于有一些更改的行，您可以使用也可以使用 join hash1!=hash2 子句，但是您将需要一个唯一的标识符。