Azure 数据工厂复制数据架构与接收器 Datalake 的映射

Question

我有一个简单的管道，带有复制数据。我正在尝试将数据从 sql 提取到数据湖。我创建了两个数据集，一个用于 sql，另一个用于 datalake。

当我们运行管道并且列具有字符串数据类型时，数据集中定义的数据湖架构将被覆盖。

我尝试在此处更改架构数据类型，但在运行管道后，它们在数据集中被覆盖。

Schema Mapping in CopyData

DataSet Schema definition

Answer 1

当我们将数据从 SQL 复制到 Azure Data Lake Storage 时，无论 SQL Source 数据集中的列数据类型是什么，它在 Data Lake Storage Sink 数据集中都会更改为 String。 Sink数据集将创建一个平面文件(txt、json等)来存储数据。

例如，当您从 csv 文件复制数据作为源数据集，从源文件导入架构时，所有列数据类型均为字符串。我们只能在 SQL Sink 数据集架构映射期间更改这些 String 列数据类型。

当使用接收器作为数据湖存储时，我们不能不更改日期集的数据类型。

希望这有帮助。