apache-spark - 如何在 Amazon EMR 集群上使用 Spark 连接到 redshift 数据

Question

我有一个 Amazon EMR 集群正在运行。如果我做

ls -l /usr/share/aws/redshift/jdbc/

它给了我

RedshiftJDBC41-1.2.7.1003.jar
RedshiftJDBC42-1.2.7.1003.jar

现在，我想用这个 jar连接到我的 Redshift database在我的 spark-shell .这是我所做的 -

import org.apache.spark.sql._
val sqlContext = new SQLContext(sc)


val df : DataFrame = sqlContext.read
.option("url","jdbc:redshift://host:PORT/DB-name?user=user&password=password")
.option("dbtable","tablename")
.load()

我得到这个错误 -

org.apache.spark.sql.AnalysisException: Unable to infer schema for Parquet. It must be specified manually.;

我不确定我是否指定了正确的 format在读取数据时。我也读过 spark-redshift driver可用但我不想运行 spark-submit与 extra JARS .

如何从 Spark-shell 连接到 redshift 数据？这是在 Spark 中配置连接的正确 JAR 吗？

Answer 1

生成的错误是因为您缺少 .format("jdbc")在你的阅读中。它应该是:

val df : DataFrame = sqlContext.read
  .format("jdbc")
  .option("url","jdbc:redshift://host:PORT/DB-name?user=user&password=password")
  .option("dbtable","tablename")
  .load()

默认情况下，Spark 假定源是 Parquet 文件，因此在错误中提到了 Parquet。

您可能仍然会遇到类路径/查找驱动程序的问题，但此更改应该会为您提供更有用的错误输出。我假设您列出的文件夹位置在 EMR 上 Spark 的类路径中，并且这些驱动程序版本看起来是最新的。这些驱动程序应该可以工作。

请注意，这仅适用于从 Redshift 读取。如果您需要写入 Redshift，最好的办法是使用用于 Spark 的 Databricks Redshift 数据源 - https://github.com/databricks/spark-redshift .