azure - 将 CSV 作为数据工厂中的源出现问题

Question

我有一个 CSV

"Heading","Heading","Heading",LF
"Data1","Data2","Data3",LF
"Data4","Data5","Data6",LF

对于上面的 CSV 行限制器是 LF

问题是最后一个逗号。当我在数据工厂的复制事件源中将第一列设置为标题并将行跳过为 0 后尝试预览数据时，它会抛出错误，指出最后一列为空。

如果我删除最后一个逗号。ie

"Heading","Heading","Heading"LF
"Data1","Data2","Data3"LF
"Data4","Data5","Data6"LF

它会工作得很好。

无法编辑 CSV，因为每个 CSV 可能包含 500k 条记录。

如何解决这个问题？

<小时/>

添加详细信息:

我正在上传 CSV enter image description here

我的 azure 门户设置 enter image description here

预览数据出现错误消息 enter image description here

如果我删除第一行作为标题，我可以看到一个空列 enter image description here

Answer 1

请尝试将行分隔符设置为换行(\n)。

我测试了您的示例 csv 文件，它工作正常。

输出:

<小时/>

我尝试与您创建相同的文件并重现您的问题。这似乎是adf的检查机制。您需要删除第一行作为标题选择以逃避此检查。如果您不想这样做，则必须预处理 CSV 文件。

我建议您采用以下两种解决方法。

1.使用Azure Function Http 触发器。您可以将 CSV 文件名作为参数传递到 Azure Function。然后使用 Azure Blob Storage SDK 处理您的 csv 文件以删除最后一个逗号。

https://learn.microsoft.com/en-us/azure/azure-functions/functions-bindings-http-webhook

2.使用 Azure 流分析。您可以将 Blob 存储配置为输入，并创建另一个容器作为输出。然后使用 SQL 查询来处理您的 CSV 数据。

https://learn.microsoft.com/en-us/azure/stream-analytics/stream-analytics-quick-create-portal