azure - 从 Azure Data Lake Gen2 数据存储创建 Azure ML 数据集时出现 AuthenticationException

Question

我有一个带有公共(public)终结点的 Azure Data Lake Gen2 和一个标准 Azure ML 实例。我已与我的用户一起创建了这两个组件，并且我被列为贡献者。

我想在 Azure ML 中使用来自此数据湖的数据。

我已使用服务主体身份验证将数据湖添加为数据存储。

然后，我尝试使用 Azure ML GUI 创建表格数据集，但出现以下错误:

访问被拒绝您没有指定路径或文件的权限。

{
  "message": "ScriptExecutionException was caused by StreamAccessException.\n  StreamAccessException was caused by AuthenticationException.\n    'AdlsGen2-ListFiles (req=1, existingItems=0)' for '[REDACTED]' on storage failed with status code 'Forbidden' (This request is not authorized to perform this operation using this permission.), client request ID '1f9e329b-2c2c-49d6-a627-91828def284e', request ID '5ad0e715-a01f-0040-24cb-b887da000000'. Error message: [REDACTED]\n"
}

我尝试让我们的 Azure 门户管理员(具有 Azure ML 和 Data Lake 的管理员访问权限)尝试相同的操作，但她收到了相同的错误。

我尝试使用 Python sdk 创建数据集并得到类似的错误:

ExecutionError: 
Error Code: ScriptExecution.StreamAccess.Authentication
Failed Step: 667ddfcb-c7b1-47cf-b24a-6e090dab8947
Error Message: ScriptExecutionException was caused by StreamAccessException.
  StreamAccessException was caused by AuthenticationException.
    'AdlsGen2-ListFiles (req=1, existingItems=0)' for 'https://mydatalake.dfs.core.windows.net/mycontainer?directory=mydirectory/csv&recursive=true&resource=filesystem' on storage failed with status code 'Forbidden' (This request is not authorized to perform this operation using this permission.), client request ID 'a231f3e9-b32b-4173-b631-b9ed043fdfff', request ID 'c6a6f5fe-e01f-0008-3c86-b9b547000000'. Error message: {"error":{"code":"AuthorizationPermissionMismatch","message":"This request is not authorized to perform this operation using this permission.\nRequestId:c6a6f5fe-e01f-0008-3c86-b9b547000000\nTime:2020-11-13T06:34:01.4743177Z"}}
| session_id=75ed3c11-36de-48bf-8f7b-a0cd7dac4d58

我已经创建了普通 blob 存储和托管 SQL 数据库的数据存储和数据集，没有任何问题，并且我只有贡献者访问这些数据，所以我无法理解为什么我不应该被授权添加数据湖。事实上，我们的管理员遇到了同样的错误，这让我相信还有其他问题。

我希望您能帮助我确定它是什么，或者给我一些要测试什么的线索。

编辑:我发现我可能重复了这篇文章:How to connect AMLS to ADLS Gen 2?我将测试该解决方案，如果有效则关闭这篇文章

Answer 1

这实际上是 How to connect AMLS to ADLS Gen 2? 的重复项.

解决方案是为 Azure ML 用于访问数据湖的服务主体提供存储 Blob 数据读取器访问权限。请注意，您必须等待至少几分钟才能生效。