postgresql - 你如何让驱动程序和执行程序通过 spark-submit 加载和识别 EMR 中的 postgres 驱动程序？

Question

背景
我正在尝试运行一个 spark-submit 命令，该命令从 Kafka 流式传输，并在 AWS EMR(版本 5.23.0)和使用 scala(版本 2.11.12)中执行到 postgres 数据库的 JDBC 接收器。我看到的错误是

INFO TaskSetManager: Lost task 0.3 in stage 0.0 (TID 6) on <master-public-dns-name>, executor 1: java.sql.SQLException (No suitable driver found for jdbc:postgres://... 

ERROR WriteToDataSourceV2Exec: Data source writer org.apache.spark.sql.execution.streaming.sources.MicroBatchWriter@44dd5258 is aborting.
19/06/20 06:11:26 ERROR WriteToDataSourceV2Exec: Data source writer org.apache.spark.sql.execution.streaming.sources.MicroBatchWriter@44dd5258 aborted.

假设问题
我认为错误告诉我在执行程序上找不到 jdbc postgres 驱动程序，这就是它不能沉入 postgres 的原因。

之前的尝试
我已经做了以下事情:

将我的结构化流作业中的驱动程序标识为 Class.forName("org.postgresql.Driver")

将 --jars postgresql-42.1.4.jar \ 添加到我的 spark-submit 作业中，以便将 jars 发送给驱动程序和执行程序。在这次尝试中，这个 postgres 驱动程序 jar 存在于我本地的/home/user_name/目录

也试过 --jars /usr/lib/spark/jars/postgresql-42.1.4.jar \ 到我的 spark-submit 作业，这是 emr 中 spark 找到所有 jars 执行的位置

用 spark-submit --driver-class-path /usr/lib/spark/jars/postgresql-42.1.4.jar:....

开始了我的 spark-submit 工作

将 /usr/lib/spark/jars/postgresql-42.1.4.jar 添加到 spark.driver.extraClassPath、spark.executor.extraClassPath、spark.yarn.dist.jars、spark.driver.extraLibraryPath、spark.yarn.secondary.jars、java.library.path 和 System一般的类路径

我的 jdbc 连接在 Zeppelin 中工作时，在 spark-submit 中不起作用。它是 jdbc:postgres://master-public-dns-name:5432/DBNAME"

预期结果:
我希望我的执行者能够识别 postgres 驱动程序并将数据接收到 postgres 数据库。

以前的尝试:
我已经使用了以下建议无济于事:

Adding JDBC driver to Spark on EMR

No Suitable Driver found Postgres JDBC

No suitable driver found for jdbc:postgresql://192.168.1.8:5432/NexentaSearch

Answer 1

使用 -- packages org.postgresql:postgresql:<VERSION>