azure - 如何在 Azure 数据工厂 V1/V2 中将带 BOM 的 UTF-8 编码文件转换为不带 BOM 的 UTF-8 编码文件？

Question

我目前有一个 V2 数据工厂，它将带有 BOM 的 UTF-8 编码文件复制到存储位置，我想删除 BOM 作为标准复制事件的一部分。

有办法做到这一点吗？

Answer 1

事实证明，这实际上非常简单。在输出数据集中，如果我们不指定编码，数据工厂将默认使用 UTF-8，而不添加 BOM。以下数据集说明了这一原理:

这是我的输入数据集:


{
“名称”:“输入Blob”，
“特性”: {
“链接服务名称”:{
"referenceName": "AzureStorageLinkedService",
“类型”:“链接服务引用”
},
“类型”:“AzureBlob”，
“类型属性”:{
“格式”: {
“类型”:“文本格式”，
"columnDelimiter": "|",
"行分隔符": "",
"nullValue": "\\N",
"编码名称": "UTF-16",
“treatEmptyAsNull”:正确，
“跳过行数”:0，
“firstRowAsHeader”:假
},
“文件名”: ””，
“文件夹路径”:“文件夹路径”
}
},
“类型”:“Microsoft.DataFactory/工厂/数据集”
}


这是我的输出数据集:


{
“名称”:“输出Blob”，
“特性”: {
“链接服务名称”:{
"referenceName": "AzureStorageLinkedService",
“类型”:“链接服务引用”
},
“类型”:“AzureBlob”，
“类型属性”:{
“格式”: {
“类型”:“文本格式”，
"columnDelimiter": "|",
"行分隔符": "",
"nullValue": "\\N",
“treatEmptyAsNull”:正确，
“跳过行数”:0，
“firstRowAsHeader”:假
},
“文件名”: ””，
"folderPath": "另一个文件夹路径"
}
},
“类型”:“Microsoft.DataFactory/工厂/数据集”
}