azure - 数据工厂中映射数据流不会忽略 CSV 文件文本值中的换行符

Question

我在 Azure 数据工厂中遇到以下问题:

在 ADLS 中，我有一个 CSV 文件，其值中包含换行符:

A, B, C
a, b, c
a, "b
b", c

此 CSV 加载到具有以下设置的 (CSV) 数据集(在 ADF 中)；第一行是标题、引号字符双引号 (")、列分隔符逗号 (,)、行分隔符(\r、\n 或\r\n)和转义字符反斜杠 ()。

数据集的“预览数据”似乎工作正常并输出一个包含 2 行的表格。这也是我期望的输出，因为数据的整体结构被保留。

但是，当我尝试在映射数据流中使用此数据集并选择“数据预览”(直接在源节点中)时，我得到以下输出:

即使整个值位于双引号之间，换行符也不会被忽略。数据的整体结构现在被破坏，一行被分成两行。

当我将某些单元格中带有换行符的 Excel 文件另存为 CSV 时，我得到了此类数据。我应该如何解决这个问题？我应该以不同的方式保存 Excel，我应该在保存为 CSV 之前尝试删除所有换行符，还是有办法让数据工厂解决这个问题？另外，为什么数据集中的预览数据功能似乎工作正常，而映射数据流中的数据预览功能却无法正常工作？

Answer 1

如果有人遇到同样的问题，现在微软已经在数据流中启用了多行功能。现在我们可以使用具有多行值的 csv 文件

如果您仍然遇到问题，请检查此问题

https://github.com/MicrosoftDocs/azure-docs/blob/master/articles/data-factory/data-flow-troubleshoot-guide.md#error-code-df-executor-systeminvalidjson-1