postgresql - 合并 csv 和 xml 文件并使用 Azure 数据工厂注入(inject)到 PSQL

Question

几周以来，我一直在努力完成一项任务。我有一些包含一些数据的 csv 文件和包含一些元数据的 xlm 文件。我需要将数据从 csv 导入到 Posgresql DB，这不是问题，我知道该怎么做。但在导入期间或之后，无论如何，我需要从 xml 获取一些元数据并将其与 csv 中的每一行连接起来。

<表类=“s-表”><标题>A 列B 列 <正文>单元格 1单元 2单元 3单元 4

+

<Document>
    <meta1>something</meta1>
    <meta2>Somethingelse</meta2>
</Document>

===

<表类=“s-表”><标题>A 列B 列元1元2 <正文>单元格 1单元 2某事其他2单元 3单元 4某事其他2

我试图使用数据工厂、管道。还有带有连接功能的数据流，但这对我不起作用，在连接功能中我需要设置连接条件，但我不知道如何设置。也许我应该使用一些表达式，应该使用什么类型的连接？我还知道 join 函数不能与 PGSQL 一起用作接收器。我需要使用其他东西，例如 json、CosmosDB、SQL DB 或 REST。

更不用说我需要为许多 Blob 存储容器中的各种类似包构建通用解决方案。但现在我需要合并数据。

如有任何建议，我们将不胜感激

Answer 1

• 由于您尝试将 xml(1 行)与 csv(多行)合并，以便 csv 的每一行都有相应的 XML 行值，因此在数据流中使用交叉联接可能有助于实现要求。

• 我已将示例 csv 和 xml 数据作为数据流中的 2 个源。以下是我拥有的 xml 数据的图像。

• 我使用派生列转换从 Document 列(复杂类型)为 meta1 和 meta2 创建了 2 个单独的列。

• 然后，我使用 select 转换仅选择两列，而不选择 document 列。

• 现在，使用连接转换，选择交叉连接，连接条件为true()。

• 同时在优化选项卡中选择广播选项 ()，如下所示:

• 然后，当您使用数据预览时，您就可以看到符合要求的数据。