sql-server - 从 SQL Server 2016 或更高版本查询 HIVE 表

Question

我正在尝试从 SQL Server 查询我的 Hortonworks 集群 Hive 表。我的场景如下:

HDP 2.6、Ambari、HiveServer2

SQL Server 2016 企业版

用于 HDP 中安全登录的 Kerberos 配置

我正在阅读 SQL Server 2016 中的 PolyBase 服务，我想是更高版本。但是，我意识到根据 documentation此服务将在 SQL Server 中执行的是连接我的 HDFS 并基于此数据源重新创建外部表的桥梁。

否则，我期望的是像这样的查询 Hive 对象也将是 SQL Server 对象，例如链接服务器。

有人有一个例子或知道这在 SQL Server 和 Hive 中是否可行？

非常感谢

Answer 1

Hive 更像是一个作业编译器，而不是一个数据库。这意味着您正在编写的每条 SQL 语句都将被转换为 Hadoop 的作业，发送到集群并在那里执行。从用户的角度来看，它看起来像查询表。

已经提到的通过读取 HDFS 数据源并在 SQL Server 中重新创建它的方法是正确的。由于 Hive 和数据库服务器都是不同的技术，所以像链接服务器这样的东西在技术上对我来说似乎是不可能的。

Hive 现在提供了一个 JDBC 接口(interface)，可以用来连接它。但即使使用 Hive JDBC，每个查询最终都将作为分布式计算的集群作业，在 HDFS 中的文件上运行，创建结果集并将其呈现给您。