azure - 适用于 SQL Server 和 Azure SQL 的 Apache Spark 连接器

Question

我尝试使用此连接器 - com.microsoft.azure:spark-mssql-connector_2.12_3.0:1.0.0 将数据从 Azure Databricks 写入 Azure SQL，但收到以下错误消息 -

作业因阶段失败而中止:阶段 1.0 中的任务 0 失败 4 次，最近一次失败:阶段 1.0 中丢失任务 0.3(TID 4、10.139.64.4、执行程序 0):java.lang.NoClassDefFoundError:com/microsoft/sqlserver/jdbc/ISQLServerBulkData

此 Spark 连接器是否可以与 Azure Databricks 一起使用到 Azure SQL？有人测试过吗？

Answer 1

出于某种原因，Microsoft 只发布了连接器本身的 jar，并且不包含连接器所需的 JDBC 驱动程序。如果您自己构建代码，构建系统会生成程序集工件，但可以使用它，但它不会发布。您可以通过显式添加 JDBC 驱动程序(com.microsoft.sqlserver:mssql-jdbc:8.4.1.jre8 坐标)来解决该问题，如下所示(对于 Spark-submit/spark-shell/pyspark 等):

bin/spark-shell --packages \
  com.microsoft.azure:spark-mssql-connector_2.12_3.0:1.0.0-alpha,com.microsoft.sqlserver:mssql-jdbc:8.4.1.jre8

或通过 UI 添加两个库