azure - 数据工厂无法将最后一列后带有逗号的 `csv` 复制到 SQL 数据仓库

Question

我有 CSV 文件想要从 blob 复制到 DW，CSV 文件在最后一列后面有逗号(请参见下面的示例)。我尝试使用 ADF 将 csv 文件复制到 DW 中的 SQL 表。但是，我收到了这个错误，我认为这是因为最后一个逗号(因为我有 15 列):

csv 文件的几行:

Code,Last Trading Date,Bid Price,Bid Size,Ask Price,Ask Size,Last Price,Traded Volume,Open Price,High Price,Low Price,Settlement Price,Settlement Date,Implied Volatility,Last Trade Time,
BNH2021F,31/03/2021,37.750000,1,38.000000,1,,0,,,,37.750000,29/03/2021,,,
BNM2021F,30/06/2021,44.500000,6,44.700000,2,44.400000,4,44.300000,44.400000,44.300000,44.500000,29/03/2021,,15-55-47.000,
BNU2021F,30/09/2021,46.250000,2,47.000000,1,47.490000,2,47.490000,47.490000,47.490000,46.920000,29/03/2021,,15-59-10.000,

请注意，CSV 是原始文件，我无法更改它们。我还在数据集中尝试了不同的 Quote 和 Escape 字符，但它不起作用。另外，我想使用 ADF 而不是 azure 函数来执行此操作。

我找不到任何解决方案，请帮忙。

更新:有趣的是，数据集预览有效:

Answer 1

我认为你可以使用数据流来实现这一点。

1. Azure 数据工厂会将最后一个逗号解释为具有空值的列。因此我们可以使用 Select 事件来过滤最后一列。

2. 在接收器手动设置映射。

3. 然后我们可以下沉到我们的 DW 或 SQL 表。