azure - 安装 azure-cosmos-spark maven 库时，Databricks 作业被取消

Question

我已经在运行时为 8.3.x-scala2.12 的集群上使用安装了 com.azure.cosmos.spark:azure-cosmos-spark_3-1_2-12:4.0.0 很长时间了。但它突然停止工作，并且使用该库在集群上运行的 databricks 作业被取消。

集群驱动程序日志 stderr 文件包含以下错误:用于代码生成的 ANTLR 工具版本 4.7 与当前运行时版本 4.8 不匹配

我尝试更新库和集群运行时版本，并安装了 jar 库而不是 maven，但没有帮助。

现在我的集群具有以下配置:

{
"autoscale": {
    "min_workers": 1,
    "max_workers": 2
},
"cluster_name": "test-clstr002",
"spark_version": "9.1.x-scala2.12",
"spark_conf": {
    "spark.databricks.delta.preview.enabled": "true"
},
"azure_attributes": {
    "first_on_demand": 1,
    "availability": "ON_DEMAND_AZURE",
    "spot_bid_max_price": -1
},
"node_type_id": "Standard_F4s",
"driver_node_type_id": "Standard_F4s",
"ssh_public_keys": [],
"custom_tags": {},
"spark_env_vars": {},
"autotermination_minutes": 60,
"enable_elastic_disk": true,
"cluster_source": "API",
"init_scripts": [],
}

有已安装的 azure-cosmos-spark maven 库的屏幕截图

感谢您的帮助或建议!

Answer 1

当您安装库的冲突版本时，集群会在 Python 笔记本中返回 已取消，Maven 依赖于您的 Spark 集群。您的应用程序应该能够使用所需的连接器库。但目前，如果您将 Cosmos DB-Spark 连接器的 Maven 坐标指定为集群的依赖项，则会收到错误消息。

解决方案:

• 识别冲突的库并将其卸载。
• 安装正确版本的 Cosmos DB-Spark connector library在笔记本中

引用:

https://learn.microsoft.com/en-us/azure/databricks/data/data sources/azure/cosmosdb-connector