Azure 数据流 - 我们可以拥有动态列或更改 Unpovt 功能的预测吗

Question

Excel由62列组成，其中7列是固定的，其余的有年份中的周(第1周到第52周)

我使用数据流任务将 53 列逆透视为具有 2 个额外列年份和值的行。问题是我的 52 周列名称在每周数据加载时不断变化，以及如何处理数据流中列名称的这种变化。对于单次运行，它给出了精确的输出

Answer 1

这里您需要做的是实现架构的后期绑定(bind)，或者 ADF 所说的“架构漂移”。不要在源投影中设置强化的“早期绑定(bind)”架构，而应将数据集架构和投影留空。

接下来，在源后面添加一个派生列并将其命名为“投影”。您将在此处使用规则构建投影，以考虑不断变化的架构。

使用 byName('columnname') 使用全年的列名称构建规范模型。这将告诉 ADF 从源数据中查找单引号中是否存在该列，同时还提供可用于构建数据透视表的架构。

如果需要转换值，请将 byName() 包装在转换函数内，即 toString()、toDate() 等。