java - 获取 Spark 包时如何禁用 SSL 身份验证？

Question

我正在使用 pyspark，当我启动 Spark session 时，我使用 spark.jars.package 从 Nexus 内部存储库中获取一些包。要获取我设置的包:

spark.jars.ivySettings 指向一个 XML 文件，其中包含 Nexus 内部存储库中的位置以获取包

spark.driver.extraJavaOptions 设置为 -Djavax.net.ssl.trustStore= 以指向 JKS 文件，其中包含 Nexus 内部存储库中 SSL 验证所需的证书

直到最近，当我开始收到以下类型的 SSL 身份验证错误时，此设置对我来说效果很好:

javax.net.ssl.SSLHandshakeException:sun.security.validator.ValidatorException: PKIX path building failed:sun.security.provider.certpath.SunCertPathBuilderException: unable tofind valid certification path to requested target)

我正在与平台团队检查导致这些错误的原因，但与此同时，我想简单地禁用 SSL 验证，以便使用 spark.jars.packages 获取包，因为系统已正确隔离并且我们不存在安全风险已经为其他目的禁用 SSL 身份验证，例如安装 pip 包或使用 wget/curl 从 Nexus 下载文件。
有没有办法通过 Spark 配置来做到这一点？

Answer 1

你可以传入 SPARK 选项:

-Dcom.sun.net.ssl.checkRevocation=false