azure - 无法从 Azure 数据工厂读取 Parquet 文件(从 Databricks 作业/笔记本创建)

Question

我在 ADLS 上读取 Databricks 创建的 Parquet 文件时遇到错误。当我使用 Databricks 读取这些文件时，它工作得很好，并且我能够从 Databricks 读取数据并将数据写入这些文件。但是，使用 DataFactory 时会出现以下错误。

错误:Parquet 文件包含列“txn”，该列属于非原始、不受支持的类型。

但是，我没有从 Databricks 创建 txn 列。

Answer 1

此错误主要是由于不支持的数据类型造成的。当您传递到 parquet 文件中的列时，请确保您使用的是受支持的数据类型。

parquet 文件支持的数据类型映射请参阅此 Microsoft document .