gpt4 book ai didi

java - 无法连接到受 Kerberos 保护的 Phoenix 数据源

转载 作者:太空宇宙 更新时间:2023-11-04 12:09:31 25 4
gpt4 key购买 nike

我想使用 Java 应用程序测试从 Apache HBase 提取数据。该应用程序将通过 JDBC 对 Apache Phoenix 使用类似 SQL 的查询。

我已使用 Ambari 和 HortonWorks HDP 2.5 平台在一台计算机上设置了 Hadoop“集群”。我还使用 Ambari 向导对环境进行了 Kerberized,其中我的 KDC 是运行 Windows Active Directory 的独立计算机。

Ambari 显示没有错误,我可以使用 sqlline.py通过 Phoenix 成功对 HBase 进行类似 SQL 的调用。我以这种方式设置了一些示例表(参见 HortonWorks Phoenix & ODBC tutorial ,尽管我必须先 kinit 等)。

但是,我在创建供 Java 应用程序使用的 JDBC 数据源时遇到问题。就我而言,我计划在 WildFly 10.1 上托管 Web 应用程序,并使用 Eclipse JEE 和 JBoss Tools 插件进行开发。

<小时/>

这些是我用来创建数据源的步骤:

数据源资源管理器 > 数据库连接 > 新建...

  • 连接配置文件:通用 JDBC
  • 网址: jdbc:phoenix:hdfs.eaa.local:2181/hbase-secure:HTTP/hbase.eaa.local@EAA.LOCAL:jboss.server.temp.dir/spnego.service.keytab
  • 用户名: hbase -我不确定在此处放什么-
  • 驱动程序:我创建了一个“通用 JDBC 驱动程序”类型的新驱动程序,并且必须为 phoenix-core-[version].jar所有依赖项添加 JAR 文件。 。驱动程序类是 org.apache.phoenix.jbdc.PhoenixDriver .

我从 an extant post in the HortonWorks community 获取了连接字符串,这就是为什么它包含用于连接的 Kerberos 主体和 key 表。

<小时/>

当我尝试测试数据源连接时,它会搅动大约 5 分钟,然后发出错误消息(大约 35 次尝试后)。客户端返回 Java 异常,表明套接字处于“关闭状态”,Zookeeper 日志的帮助不大:

INFO  [SyncThread:0:ZooKeeperServer@617] - Established session 0x157aef451560217 with negotiated timeout 40000 for client /192.168.40.3:52674
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:43860
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@827] - Processing ruok command from /192.168.40.41:43860
INFO [Thread-1448:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:43860 (no session established for client)

INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:43922
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@868] - Client attempting to establish new session at /192.168.40.41:43922
INFO [SyncThread:0:ZooKeeperServer@617] - Established session 0x157aef451560218 with negotiated timeout 40000 for client /192.168.40.41:43922
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:SaslServerCallbackHandler@118] - Successfully authenticated client: authenticationID=hbase/hdfs.eaa.local@EAA.LOCAL; authorizationID=hbase/hdfs.eaa.local@EAA.LOCAL.
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:SaslServerCallbackHandler@134] - Setting authorizedID: hbase
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@964] - adding SASL authorization for authorizationID: hbase
INFO [ProcessThread(sid:0 cport:-1)::PrepRequestProcessor@494] - Processed session termination for sessionid: 0x157aef451560218
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:43922 which had sessionid 0x157aef451560218

INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:44008
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@827] - Processing ruok command from /192.168.40.41:44008
INFO [Thread-1449:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:44008 (no session established for client)

注意。 192.168.40.3 是 VPN 服务器,我的主机使用它通过隧道进入具有 Hadoop 集群的环境。 192.168.40.41 是运行集群的机器,hdfs.eaa.local .

有大量接受的套接字连接,然后立即关闭。有时客户端会成功进行身份验证(因此我对我的 Kerberos 设置很有信心),但随后会立即终止 session 。

我还尝试使用 jboss-cli 直接在 WildFly 中部署数据源和standalone.xmlmodule.xml修改。但是我遇到了很多缺少依赖项的问题,我不确定如何在不为phoenix-core-[version].jar的每个所需的JAR(并且有很多)创建新模块的情况下解决这些问题。 。我关注了this guide .

我可以做什么来解决问题或进一步诊断?这几天我一直在拔头发。

最佳答案

您需要将 hbase-site.xmlcore-site.xml 添加到类路径中。

参见How to connect to a Kerberos-secured Apache Phoenix data source with WildFly?了解更多信息。

关于java - 无法连接到受 Kerberos 保护的 Phoenix 数据源,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39981114/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com