azure - Databricks 集群终止。原因: Cloud Provider Launch Failure

Question

我正在将 Azure Databricks 与使用 vnet 注入(inject)的自定义配置结合使用，但无法在工作区中启动群集。给出的错误消息没有在 Microsoft 或 databricks 文档中的任何地方记录，这意味着我无法诊断集群未启动的原因。我重现了以下错误消息:

Instance ID: [redacted]

Azure error message: 
Instance bootstrap failed.
Failure message: Cloud Provider Failure. Azure VM Extension stuck on transitioning state. Please try again later.
VM extension code: ProvisioningState/transitioning
instanceId: InstanceId([redacted])
workerEnv: workerenv-6662162805421143
Additional details (may be truncated): Enable in progress

虽然它说“请稍后再试”，但我一整天都在尝试这个并收到相同的消息，这让我认为这个错误消息不是描述性的，而且确实发生了其他事情。

有人对问题可能是什么有想法吗？

Answer 1

这似乎是从 databricks 实例到中央 databricks 服务器的连接问题。我们的 vnet 注入(inject)设置似乎不足以将请求路由到正确的位置。 最终通过将 databricks 实例更改为使用 vnet 对等(及其自己的自定义 vnet)而不是 vnet 注入(inject)来解决问题。这样，databricks 实例就能够与另一个 vnet 中的资源进行通信，同时仍然能够启动集群。

这满足了我们的项目要求，但在某些情况下可能不足以满足项目的要求。希望 Azure Databricks 团队至少记录此问题，以减少将来的困惑。

我还尝试创建 custom user defined routes for databricks但这并没有解决问题。