gpt4 book ai didi

azure-data-factory - 使用 Azure 数据工厂 (ADF) 数据流 (DF) 从/向 Azure Data Lake Store gen1 源和接收数据

转载 作者:行者123 更新时间:2023-12-04 11:31:16 27 4
gpt4 key购买 nike

我有一个 Azure Data Lake Store gen1 (ADLS-1) 和一个带有数据流 (DF) 的 Azure 数据工厂 (ADF) (V2)。当我在 ADF 中创建一个新的 DF 并在 Source 和/或 Sink 节点中选择来自 ADLS-1 的数据集时,我收到以下验证错误(在 DF 中):
source1
AzureDataLakeStore does not support MSI authentication in Data Flow.

这是否意味着我不能将 DF 与 ADLS-1 一起使用,或者这是某种身份验证问题?

我尝试过的事情 list :

  • 我在 ADLS-1
  • 的访问控制 (IAM) 中为 ADF 资源赋予了所有者角色
  • 我已在数据集
  • 的 ADLS-1 文件夹中授予 ADF 资源所有(读取、写入等)权限
  • 我可以在 ADF 管道中从 ADLS-1 复制数据(因此在 DF 之外)
  • 我可以为来自 ADLS-2 (gen 2) 的数据集选择 DF 的源和汇节点中的数据集(所以在这里我没有收到错误)
  • 我可以创建一个管道,首先将数据集从 ADLS-1 复制到 ADLS-2,然后用 DF 处理它(并将其复制回来)。这种解决方法非常乏味,而且我在生产中没有 ADLS-2(目前)。
  • 它说 here ADLS-1 支持的功能包括映射数据流 (DF)。

  • 如果有人知道将 DF 与 ADLS-1 一起使用的方法或排除其功能,那将非常有帮助。

    最佳答案

    ADF 中的映射数据流目前尚不支持 MSI 身份验证。

    关于azure-data-factory - 使用 Azure 数据工厂 (ADF) 数据流 (DF) 从/向 Azure Data Lake Store gen1 源和接收数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56430542/

    27 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com