azure - 为什么 ADF 不会列出我的 S3 存储桶的内容？

Question

我正在尝试通过 ADF 将数据从 S3 存储桶提取到 Azure 中。我通过输入我的访问 key ID 和 secret 访问 key 添加了一个新连接，并且针对我的服务 URL ( https://myS3BucketName.s3-myRegion.amazonaws.com ) 的“测试连接”有效:

但是，当我尝试浏览存储桶的内容时，没有显示任何内容:

在安装了 AWS CLI 的虚拟机中，我可以使用这些完全相同的凭证并成功列出存储桶的内容:

export AWS_ACCESS_KEY_ID=myAccessKeyId
export AWS_SECRET_ACCESS_KEY=mySecretAccessKey
aws s3 ls s3://myS3BucketName/

对于与此访问 key 关联的策略，我什至授予了所有 S3 权限(即使我已经拥有 GetObject、ListBucket、GetObjectVersion、ListAllMyBuckets 等)。

如何才能最好地调试此问题？我的目标是每天摄取文件或目录，在大多数情况下，我会知道其确切名称。因此，如果有一种好方法可以尝试按确切名称复制文件，而不必执行存储桶目录列表，那么这可能是可以接受的。

Answer 1

您的故障排除方法听起来很合理，如果您可以通过 aws cli 使用相同的凭据列出存储桶的内容，您还应该能够从 ADF 列出存储桶的内容。要列出 ADF 中存储桶的内容，您可以使用与 S3 链接服务关联的数据集，在数据集中您可以告知路径并浏览存储桶。

我看到您提到了服务 URL，对于未指定服务 URL 的链接服务，上述说明通常不会出现问题。您是否尝试过在没有它的情况下测试您的链接服务？