Azure Databricks 执行失败 - CLOUD_PROVIDER_LAUNCH_FAILURE

Question

我使用 Azure DataFactory 进行数据提取，并通过 ADF 的笔记本事件使用 Azure Databricks 笔记本。

笔记本使用标准 DS3_V2(自动缩放 2-5 个节点)的现有实例池和 7.3LTS Spark 运行时版本。多个团队将同一个 Azure 订阅用于各自的数据管道。

在 ADF 管道执行期间，我经常遇到笔记本事件失败并显示以下错误消息

{
  "reason": {
    "code": "CLOUD_PROVIDER_LAUNCH_FAILURE",
    "type": "CLOUD_FAILURE",
    "parameters": {
      "azure_error_code": "SubnetIsFull",
      "azure_error_message": "Subnet /subscriptions/<Subscription>/resourceGroups/<RG>/providers/Microsoft.Network/virtualNetworks/<VN>/subnets/<subnet> with address prefix 10.237.35.128/26 does not have enough capacity for 2 IP addresses."
    }
  }
}

谁能解释一下这个错误是什么以及如何减少这种错误的发生？ (我找到的文档没有说明)

Answer 1

看起来您的数据 block 已在 VNET 中创建，请参阅此 link或者这个link 。完成此操作后，将在此 VNET 内的子网之一内创建数据 block 实例。看起来在触发时，子网内的所有 IP 都已被使用。您不能广告不应该扩展IP 空间。请不要尝试更改现有的 VNET 配置，因为这会影响您的 databricks 集群。您有以下选择。

1. 检查何时实例化的数据 block 实例数量较少，并且在此期间安排您的 ADF。你应该看看跨时间分配执行，这样我们就不会尝试子网中现有 IP 的峰值。
2. 请求您的 IT 部门创建新的 VNET 和子网，并在此 VNET 中创建一个新的 Databricks 集群。