Azure 数据工厂导入 : many to many relationship

Question

我正在尝试使用 Azure 数据工厂将 .csv 文件导入 Microsoft SQLServer 数据库。 .csv 文件头如下所示

VehicleVIN, VehicleMake, VehicleModel, CustomerName, CustomerAddress

我已将 VehicleVIN、VehicleMake 和 VehicleModel 放入 VehicleTable 中。我已将 CustomerRef、CustomerName 和 CustomerAddress 放入 CustomerTable 中。

由于这是这两个实体之间的多对多关系，因此我需要添加第三个名为 VehicleCustomerTable (Id, VehicleId , CustomerId)，我应该在其中保存已放入 VehicleTable 和 CustomerTable 中的实体的 id。

问题是我不知道如何将它们关联到同一数据流中。我是否需要另一个数据流来处理这个数据流？如果需要单独的数据流，我如何知道哪个客户属于哪个车辆？我已经构建了一个数据流，将数据下沉到相应的表中，但问题是这两个实体的关联。

Answer 1

下面是输入数据。

在这里，我使用 surrogatekey 添加了新列 CustomerRef，因为您没有在输入中给出。如果列中有 customerid，请使用 customerid。

接下来，我通过在 VehicleVIN 和 CustomerRef 上使用 Aggregate 组件完成了分组。然后对于聚合，我只是使用 tmp 作为列，使用 max(CustomerRef) 作为值，后来我在选择组件中取消选择此列。这样做只是为了避免错误。

以下是设置。

在分组依据下

在聚合下

接下来，添加 surrogatekey 组件来创建 Id 列。

设置:

预览:

然后使用 select 组件取消选择 tmp 列，如下所示。

您将获得最终数据预览。

最后将此数据接收到名为 VehicleCustomerTable 的 SQL 表。