apache-spark - 是否有 Spark SQL jdbc 驱动程序？

Question

我正在寻找支持 Spark SQL 的客户端 jdbc 驱动程序。

到目前为止，我一直在使用 Jupyter 在 Spark 上运行 SQL 语句(在 HDInsight 上运行)，我希望能够使用 JDBC 进行连接，以便我可以使用第三方 SQL 客户端(例如 SQuirreL、SQL Explorer 等)代替笔记本界面。

我从 Microsoft 找到了一个 ODBC 驱动程序，但这对我使用基于 Java 的 SQL 客户端没有帮助。我还尝试从我的集群下载 Hive jdbc 驱动程序，但 Hive JDBC 驱动程序似乎不支持 Spark 支持的更高级的 SQL 功能。例如，Hive 驱动程序提示不支持非等式连接的连接语句，我知道这是 Spark 支持的功能，因为我已经在 J​​upyter 中成功执行了相同的 SQL。

Answer 1

the Hive JDBC driver does not appear to support more advance SQL features that Spark does

不管它提供什么支持，Spark Thrift Server 都是 fully compatible with Hive/Beeline's JDBC connection .

因此，这就是您需要使用的 JAR。我已经验证这在 DBVisualizer 中有效。

另一种解决方案是直接在 Java 客户端(非第三方工具)中运行 Spark 代码，而无需 JDBC 连接。