azure - 需要在 csv 文件中添加 header 和尾部记录 - Azure 数据工厂

Question

我是 Azure 数据工厂的新手，需要使用 Azure 数据工厂实现以下逻辑，我们将 csv 文件从源传输到目标，并在文件中进行一些转换。

输入文件包含以下数据:

111|101|2019-02-04 21:04:57

222|202|2019-02-04 21:33:54

333|202|2019-02-04 20:23:55

预期输出:

H|TestFile|currentDateTime------------ Need to add this header record. H and TestFile would be static

111|101|2019-02-04 21:04:57

222|202|2019-02-04 21:33:54

333|202|2019-02-04 20:23:55

T|03-------------------------------------- T is static value. Need to add total number of records here.

有人可以帮忙解决这个问题吗

Answer 1

更新:
经过我的一系列测试，最终我能得到的结果如下:
结构概览如下:

1. 我将标题保存到 txt 文件中。
   

2. source1 存储源 csv 文件，我在 Projection 选项卡中将列名称设置为 Column_1。 source1数据预览如下:

3. 在 SurrogateKey1 事件中，我键入 Row_No 作为 Key column 和 1 作为 >起始值。

4. 在 Window1 事件中，选择 Row_No 作为窗口列，然后输入表达式 max(Row_No)。 Window1数据预览如下，可以得到Row_No的最大值。

5. 使用 Pivot1 事件从列切换到行，输入表达式 concat('T|',toString(max(Row_No),'00')) 获取T|03。 Pivot1事件数据预览如下:

6. source2 的设置与 source1 相同。

7. 在 DerivedColumn1 处，
   设置列名称:Column1 ,
   设置表达式:concat(Column_1,'|',toString(currentTimestamp()))。

8. 在 SurrogateKey2 事件中，我键入 Row_No 作为 Key column 和 2 作为 >起始值。 SurrogateKey2事件数据预览如下:

9. 在 Select2 事件中，过滤我们想要的列并为该列指定一个别名。
   数据预览如下:

10. headers 将 header 信息存储在 csv 文件中。将 Column_1 设置为列名称。

11. 在 SurrogateKey3 事件中，我键入 Row_No 作为 Key column 和 1 作为 >起始值。

12. 将 SurrogateKey3 事件与 Select2 事件合并。 它将按 Row_No 列排序，因此标题将位于第一行。

13. 然后我们只能通过 Select1 事件选择我们需要的内容。 Select1事件数据预览如下:

14. 通过 Union2 事件合并 Pivot1 事件和 Select1 事件。 Union2事件数据预览如下:

15. 运行调试后，最终的csv文件如下: