azure - 如何从列标题中提取日期并在 azure 数据工厂中为其创建单独的列？

Question

我已将文件自动生成到本地文件夹中，其中包含“毛利率 10/22/22”等列标题(还附有图片)。有没有办法可以提取日期并创建两个单独的列，一个毛利率和另一个日期。我正在尝试使用数据流在 azure 数据工厂中执行此操作。到目前为止，数据流是我见过的唯一有可能发挥作用的东西。另外，我想将其从 onprem 导出到 blob 存储，然后导出到 sql，但我必须对管道进行编程，以便它在 sql 之前进行这些更改，否则映射将无法工作。

Answer 1

我已在 Azure 数据工厂中创建了数据流。我使用了两个派生列从列标题中提取日期。引用图片:

我从 delimetetext1 数据集中获取了 csv 文件。我的数据流来源:

来源数据预览:

我已使用名为“columnames”的源文件的派生列选项创建了派生列。在这个派生列中，我获取了数组中的所有列使用下面的表达式:

columnNames()

引用图片:

派生列1的数据预览:

我已经创建了另一个派生列到派生列1我在其中创建了 4 个派生列。日期列用于从列标题“毛利率 10/20/22”中提取日期。

我使用了以下表达式:

split(at(columnnames, 4),' ')[3]

引用图片:

我为从列标题“Net Sales 10/21/22”中提取日期创建了 NDate 派生列。我用过

split(at(columnnames,5),' ')[3]

引用图片:

我创建了毛衍生列，将日期与列标题“毛利率 10/20/22”分开。我使用了以下表达式:

substring({Gross Margin 10/20/22}, instr({Gross Margin 10/20/22}, "")+0, 12)

引用图片

我创建了总派生列，将日期与列标题“Net sales 10/21/22”分开。我使用了以下表达式:

substring({Net Sales 10/21/22}, instr({Net Sales 10/21/22}, "")+0, 9)

引用图片:

派生列2的数据预览:

我创建了选择并从派生列 2 中检索了 8 列我使用了以下表达式:

Renaming derivedColumn2 to select1 with columns 'Sales Number, Store Short Name, Net Sales, Sales Trend, Date, NDate, Gross, net'

引用图片:

选择的数据预览:

我将接收器连接到选择:

接收器的数据预览: