Azure Databricks : Accessing Blob Storage Behind Firewall

Question

我正在从 Azure Databricks 笔记本读取 Azure Blob 存储帐户(第 2 代)上的文件。两项服务均位于同一地区(西欧)。一切正常，除非我在存储帐户前面添加防火墙。我选择允许“受信任的 Microsoft 服务”:

但是，运行笔记本现在会出现访问被拒绝错误:

com.microsoft.azure.storage.StorageException: This request is not authorized to perform this operation.

我尝试直接从 Spark 访问存储并使用 dbutils 挂载它，但结果是一样的。

我会假设 Azure Databricks 算作可信的 Microsoft 服务吗？此外，我找不到有关可以添加到防火墙规则中的 Databricks 区域 IP 范围的可靠信息。

Answer 1

是的，Azure Databricks 不算受信任的 Microsoft 服务，您可以看到受支持的 trusted Microsoft services使用存储帐户防火墙。

从网络角度，这里有两个建议:

1. 查找 Azure datacenter IP address ( Original deprecated URL ) 并确定 Azure Databricks 所在区域的范围。将存储帐户防火墙中的 IP 列表列入白名单。

2. Deploy Azure Databricks in your Azure Virtual Network (Preview)然后将存储帐户的防火墙中的 VNet 地址范围列入白名单。您可以引用configure Azure Storage firewalls and virtual networks.此外，您还可以使用 NSG 来限制来自此 Azure VNet 的入站和出站流量。注意:您需要将 Azure Databricks 部署到您自己的 VNet。

希望这有帮助。