sql-server - Google Dataproc 到 SQL Server(基于 centos 7)连接错误？

Question

我陷入了一个已经浪费了我 3 天时间的问题。我有一个 dataproc 集群 1.5，我还在运行 centos 7 操作系统的谷歌虚拟机上安装了 SQL Server。但是我无法通过来自 dataproc 集群的 pyspark 连接 SQL Server。您可以在附件中找到错误快照。 SQL 服务器上禁用了 SSL 加密。我可以通过 sqlcmd(安装在 dataproc 集群上)访问 SQL Server，也可以通过来自 dataproc 集群的 PYMSSQL 库访问 SQL Server。但不是用pyspark。尝试从 Sqoop 访问 MSSQL 时也会发生同样的错误。请指导我，我已经尝试了互联网上所有可能的解决方案，但对我来说仍然没有运气。提前致谢。我的连接字符串是:

df = spark.read.format("jdbc") \
.option("url", "jdbc:sqlserver://x.x.x.x:1433;encrypt=false;databaseName=gcp") \
.option("dbtable", "xxx") \
.option("user", "xxx") \
.option("password", "xxxx") \
.option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver").load()

Connection Error Snapshot

Answer 1

这可能是因为 Dataproc 使用 Conscrypt默认情况下以提高性能。

根据您使用的 MS SQL JDBC 派生版本，它可能存在导致使用 Conscrypt 失败的错误。

要解决此问题，请尝试通过 cluster properties 在 Dataproc 集群创建期间禁用 Conscrypt :

gcloud dataproc clusters create $CLUSTER_NAME \
  --properties=dataproc:dataproc.conscrypt.provider.enable=false