Azure databricks 作业失败并显示错误消息

Question

当节点重新启动时，作业失败并显示以下消息:

ImportError: No module named mlflow

我已从 Databricks Cluster UI 安装了 mlflow，但仍然面临此问题。

集群配置:运行时 10.4 LTS Scala 2.12、Spark 3.2.1

Answer 1

集群管理器是管理客户 Apache Spark 集群的 Azure Databricks 服务的一部分。它在重新启动每个节点时发送命令来安装 Python 和 R 库。有时，库安装或从互联网下载工件可能比预期花费更多时间。出现这种情况的原因是网络延迟，或者如果附加到集群的库有许多依赖库，就会出现这种情况。

解决方案:

在笔记本中使用笔记本范围的库安装命令。您可以在一个单元格中输入以下命令，以确保安装所有指定的库。

dbutils.library.installPyPI("mlflow")
dbutils.library.restartPython()

引用 - https://learn.microsoft.com/en-us/azure/databricks/kb/libraries/library-install-latency