sql-server - 使用 polybase 创建从 sql server 到 hadoop 的外部表的问题

Question

我们最近在 SQL Server 中安装了 Polybase。我们正在尝试使用 Hortonworks 来获取数据。我在创建外部表时遇到以下问题。

Msg 105019, Level 16, State 1, Line 1 
EXTERNAL TABLE access failed due to internal error: 'Java exception raised on call to HdfsBridge_IsDirExist:  
Error [End of File Exception between local host is: "xxxxx"; destination host is: "xxxxx":1111; :  
java.io.EOFException; For more details see:  http://wiki.apache.org/hadoop/EOFException] occurred while accessing external file.'

我尝试通过取消注释 Kerberos 选项来更改 SQL Server polybase 位置中的 core-site.xml 文件，现在出现以下错误:

Msg 105019, Level 16, State 1, Line 1
EXTERNAL TABLE access failed due to internal error: 'Java exception raised on call to HdfsBridge_Connect: 
Error [Unable to instantiate LoginClass] occurred while accessing external file.'

我怀疑它可能与创建数据库范围的凭据有关。

CREATE DATABASE SCOPED CREDENTIAL HadoopUser3
WITH IDENTITY = '<user>', Secret = '<Passw0rd>';  
go

谁能帮我理解我在身份和 secret 方面遇到的问题。它与 Hadoop 凭据有关吗？我们要给什么样的 secret ？

Answer 1

需要检查的几件事:

在您的 core-site.xml 文件中尝试将 hadoop.security.authentication 设置为小写的“kerberos”。另外，确保你已经添加了 polybase.kerberos.realm 和 polybase.kerberos.kdchost

确保您创建的数据源使用正确的 LOCATION= 到您的 HDFS 集群。确保这是 IP 地址:端口而不是服务器本身的名称

检查外部表并确保您拥有集群物理文件本身的正确路径。