scala - 使用 ssl 连接的 Spark 到 kafka 连接

Question

我正在尝试从 perm 上的 spark 数据框架将数据发布到云中的 kafka 主题。连接我有 ssl 证书(信任库、 keystore )。但我不知道如何使用 Scala intellij 中的证书进行连接。示例代码将非常有用。

Answer 1

这与建立任何其他 SSL 连接相同。将您的证书导入 keystore 并使用以下代码引用该 keystore

System.setProperty("javax.net.ssl.trustStore", "keystoreFilefullpath")
System.setProperty("javax.net.ssl.trustStorePassword", "password")

一旦设置了这些参数，Kafka SSL 就应该可以工作了。如果您从 Spark 发布，则必须使用 --files 选项将 keystore 文件上传到驱动程序/执行程序