apache-spark - 我们是否可以使用Spark将数据移动到Vertica，而不必将hadoop作为登台环境？

Question

我正在尝试以流方式发送数据并将其加载到vertica中，我所引用的每一篇文章都谈到了使用hdfs首先保留DF或RDD中的数据，是否有一种无需使用Hadoop和任何其他数据存储即可移动数据的方法

Answer 1

不幸的是，与Vertica Connector for Apache Spark无关，该连接器确实要求将数据首先写入HDFS。

您可以使用df.write()从Spark直接保存到JDBC连接表。

import org.apache.spark.sql.{SQLContext, SaveMode}

df.write
  .mode(SaveMode.Append)
  .format("jdbc")
  .option("url", "jdbc:vertica://vertica:5433/database")
  .option("dbtable", "schema.table")
  .option("user", "dbadmin")
  .option("password", "password")
  .save()

使用Spark版本2.2.1对我有用。 Vertica 9.1版。