Azure 数据工厂更改 Azure 表架构

Question

我计划使用 Azure 数据工厂来创建 Azure 表存储的备份。我的 Azure 表中的实体可以更改其架构。有没有一种方法可以让 Azure Pipeline 处理这个问题，而无需每次架构更改时都进行手动干预？

例如:让第一个条目为

  <entry>
    <content type="application/xml">
      <m:properties>
        <d:PartitionKey>P1</d:PartitionKey>
        <d:RowKey>R1</d:RowKey>
        <d:Timestamp m:type="Edm.DateTime">2017-05-22T20:37:34.8743000Z</d:Timestamp>
        <d:IsDefault m:type="Edm.Boolean">False</d:IsDefault>
      </m:properties>
    </content>
  </entry>

而另一个条目可能是:

  <entry>
    <content type="application/xml">
      <m:properties>
        <d:PartitionKey>P2</d:PartitionKey>
        <d:RowKey>R2</d:RowKey>
        <d:Timestamp m:type="Edm.DateTime">2017-05-22T20:37:34.8743000Z</d:Timestamp>
        <d:IsDefault m:type="Edm.Boolean">False</d:IsDefault>
        **<d:IsTest m:type="Edm.Boolean">False</d:IsTest>**
      </m:properties>
    </content>
  </entry>

我不想每次实体更改时都更改我的数据集。

According to doc : https://learn.microsoft.com/en-us/azure/data-factory/data-factory-faq

If the structure and jsonPathDefinition are not defined in the Data Factory dataset, the Copy Activity detects the schema from the first object and flatten the whole object.

他们是解决这个问题的方法吗？

Answer 1

The entities in my Azure Table could change their schema. Is there a way Azure Pipeline could handle this without a manual intervention everytime schema changes ?

在 this article ，我们可以发现，对于 Azure 表等无架构数据存储，数据工厂服务通过以下方式之一推断架构:

1。如果您使用数据集定义中的结构属性指定数据结构，则数据工厂服务会将此结构视为架构。在这种情况下，如果某行不包含某列的值，则为其提供空值。

2。如果未使用数据集定义中的结构属性指定数据结构，数据工厂将使用数据中的第一行推断架构。在这种情况下，如果第一行不包含完整架构，则复制操作的结果中会丢失一些列。

如果您不想在数据集定义中手动显式指定结构属性，则可以在架构更改时将表架构存储/更新到另一个表或 blob 中，然后您可以create custom activity by using .NET SDK并在创建数据集时根据存储的架构以动态和编程方式定义结构属性。