apache-spark - Spark作业可在两个不同的HDFS环境中工作

Question

我有一个要求，我需要写一个 Spark 作业来连接Prod(Source-Hive)Server A
并将数据放入Local(临时配置单元服务器)进行转换并将其加载回TargetProd(服务器B)

在较早的情况下，我们的目标数据库为Oracle，因此我们使用如下所示的方法，它将覆盖表

AAA.write.format(“jdbc”)。option(“url”，“jdbc:oracle:thin:@ // uuuuuuu:0000 / gsahgjj.yyy.com”)。option(“dbtable”，“TeST.try_hty” ).option(“user”，“aaaaa”)。option(“password”，“dsfdss”)。option(“Truncate”，“true”)。mode(“Overwrite”)。save()。

关于从服务器A到B的SPARK覆盖，我们应该给出什么语法。

当我尝试通过jdbc从一个配置单元(ServerA)到服务器B建立连接时，它不起作用..请帮助。

Answer 1

如果是远程的，则可以使用jdbc连接到配置单元。请获取您的Hive Thrift服务器URL和端口详细信息，然后通过jdbc连接。它应该工作。