hadoop - 如何在 Kerberized Hadoop 集群中连接 H2O 和 Hive？-6ren

hadoop - 如何在 Kerberized Hadoop 集群中连接 H2O 和 Hive？

转载作者：行者123 更新时间：2023-12-02 20:24:58

我正在尝试按照以下文档连接 H2O 和 kerberized Hive:http://docs.h2o.ai/h2o/latest-stable/h2o-docs/getting-data-into-h2o.html#connecting-to-hive-in-a-kerberized-hadoop-cluster

我确信 hiveHost、hivePrincipal、principal、keytab 都配置得很好。

这是我的环境:

Hadoop 2.7

hive 2.2

h2o-3.26.0.2-hdp2.6.zip 和 h2o-3.26.0.2-hdp3.0.zip(已尝试 hdp2.6 和 hdp3.0)

以下是错误信息:

08-08 14:08:51.819 192.168.6.33:54321    15189  #dex.html INFO: GET /flow/index.html, parms: {}
08-08 14:08:51.819 192.168.6.33:54321    15189  #dex.html INFO: Trying to load resource /flow/index.html via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:51.870 192.168.6.33:54321    15189  #flow.css INFO: Trying to load resource /flow/css/flow.css via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:51.933 192.168.6.33:54321    15189  #/flow.js INFO: Trying to load resource /flow/js/flow.js via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:52.054 192.168.6.33:54321    15189  #/h2o.png INFO: Trying to load resource /flow/img/h2o.png via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:52.083 192.168.6.33:54321    15189  #ar.woff2 INFO: GET /flow/fonts/Lato-Regular.woff2, parms: {}
08-08 14:08:52.083 192.168.6.33:54321    15189  #ar.woff2 INFO: Trying to load resource /flow/fonts/Lato-Regular.woff2 via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:52.094 192.168.6.33:54321    15189  #00.woff2 INFO: GET /flow/fonts/fa-solid-900.woff2, parms: {}
08-08 14:08:52.095 192.168.6.33:54321    15189  #00.woff2 INFO: Trying to load resource /flow/fonts/fa-solid-900.woff2 via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:52.101 192.168.6.33:54321    15189  #tf.woff2 INFO: GET /flow/fonts/SourceCodePro-Regular.ttf.woff2, parms: {}
08-08 14:08:52.101 192.168.6.33:54321    15189  #tf.woff2 INFO: Trying to load resource /flow/fonts/SourceCodePro-Regular.ttf.woff2 via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:52.597 192.168.6.33:54321    15189  #dex.html INFO: GET /flow/index.html, parms: {}
08-08 14:08:52.597 192.168.6.33:54321    15189  #dex.html INFO: Trying to load resource /flow/index.html via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:52.654 192.168.6.33:54321    15189  #ndpoints INFO: GET /3/Metadata/endpoints, parms: {}
08-08 14:08:52.859 192.168.6.33:54321    15189  #notebook INFO: GET /3/NodePersistentStorage/notebook, parms: {}
08-08 14:08:52.862 192.168.6.33:54321    15189  #s/exists INFO: GET /3/NodePersistentStorage/categories/environment/names/clips/exists, parms: {}
08-08 14:08:52.862 192.168.6.33:54321    15189  #log.json INFO: GET /flow/help/catalog.json, parms: {}
08-08 14:08:52.862 192.168.6.33:54321    15189  #log.json INFO: Trying to load resource /flow/help/catalog.json via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:52.863 192.168.6.33:54321    15189  #/3/About INFO: GET /3/About, parms: {}
08-08 14:08:52.867 192.168.6.33:54321    15189  #Builders INFO: GET /3/ModelBuilders, parms: {}
08-08 14:08:52.889 192.168.6.33:54321    15189  #00.woff2 INFO: GET /flow/fonts/fa-regular-400.woff2, parms: {}
08-08 14:08:52.889 192.168.6.33:54321    15189  #00.woff2 INFO: Trying to load resource /flow/fonts/fa-regular-400.woff2 via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:52.891 192.168.6.33:54321    15189  #flow.png INFO: Trying to load resource /flow/img/h2o-flow.png via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:53.035 192.168.6.33:54321    15189  #ic.woff2 INFO: GET /flow/fonts/Lato-Italic.woff2, parms: {}
08-08 14:08:53.035 192.168.6.33:54321    15189  #ic.woff2 INFO: Trying to load resource /flow/fonts/Lato-Italic.woff2 via classloader sun.misc.Launcher$AppClassLoader@7e32c033
08-08 14:08:58.454 192.168.6.33:54321    15189  #SQLTable INFO: POST /99/ImportSQLTable, parms: <hidden>
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR: java.lang.RuntimeException: SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://hive.linktime.cloud:10000/default;auth=delegationToken: java.lang.RuntimeException: class org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback not org.apache.hive.org.apache.hadoop.security.GroupMappingServiceProvider
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR: Failed to connect and read from SQL database with connection_url: jdbc:hive2://hive.linktime.cloud:10000/default;auth=delegationToken
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at water.jdbc.SQLManager$SQLImportDriver.compute2(SQLManager.java:225)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at water.H2O$H2OCountedCompleter.compute(H2O.java:1417)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at jsr166y.CountedCompleter.exec(CountedCompleter.java:468)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at jsr166y.ForkJoinTask.doExec(ForkJoinTask.java:263)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at jsr166y.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:974)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at jsr166y.ForkJoinPool.runWorker(ForkJoinPool.java:1477)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at jsr166y.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:104)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR: Caused by: java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://hive.linktime.cloud:10000/default;auth=delegationToken: java.lang.RuntimeException: class org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback not org.apache.hive.org.apache.hadoop.security.GroupMappingServiceProvider
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:210)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:107)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at java.sql.DriverManager.getConnection(DriverManager.java:664)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at java.sql.DriverManager.getConnection(DriverManager.java:247)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at water.jdbc.SQLManager.getConnectionSafe(SQLManager.java:486)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at water.jdbc.SQLManager.access$000(SQLManager.java:13)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at water.jdbc.SQLManager$SQLImportDriver.compute2(SQLManager.java:134)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     ... 6 more
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR: Caused by: java.lang.RuntimeException: java.lang.RuntimeException: class org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback not org.apache.hive.org.apache.hadoop.security.GroupMappingServiceProvider
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2248)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.org.apache.hadoop.security.Groups.<init>(Groups.java:106)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.org.apache.hadoop.security.Groups.<init>(Groups.java:102)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:450)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:309)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:276)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:832)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:802)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:675)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.org.apache.hadoop.hive.shims.Utils.getTokenStrForm(Utils.java:91)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.jdbc.HiveConnection.getClientDelegationToken(HiveConnection.java:539)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.jdbc.HiveConnection.createBinaryTransport(HiveConnection.java:464)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:226)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:183)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     ... 12 more
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR: Caused by: java.lang.RuntimeException: class org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback not org.apache.hive.org.apache.hadoop.security.GroupMappingServiceProvider
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     at org.apache.hive.org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2242)
08-08 14:08:58.472 192.168.6.33:54321    15189  FJ-1-15   ERRR:     ... 25 more
08-08 14:09:07.241 192.168.6.33:54321    15189  #les/info INFO: GET /3/Logs/nodes/self/files/info, parms: {}
08-08 14:09:07.334 192.168.6.33:54321    15189  #les/info INFO: GET /3/Logs/nodes/192.168.6.33:54321/files/info, parms: {}

我错过了一些配置吗？

最佳答案

您是将 h2o 作为 Hadoop 作业运行还是在 Hadoop 之外独立运行？仅当 H2O 作为 Hadoop 作业运行时才使用delegationToken auth。

如果您是独立运行，则需要使用 kerberos 身份验证和 jdbc:hive2://host:10000/default;principal=hive/host@REALM.COM 之类的东西。

如果您通过 h2o_driver.jar 作为 hadoop 作业运行，那么您需要确保 hive 在 mapreduce 类路径上，无论是通过 libjars 还是通过 hadoop conf。文档中提供了更多详细信息。

关于hadoop - 如何在 Kerberized Hadoop 集群中连接 H2O 和 Hive？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/57454662/

文章推荐： hadoop - 在Hadoop中找到最大值

文章推荐： lazy-loading - 如何延迟加载 amp-img？

文章推荐： pester - 如何使用 Pester 模拟模块不可用的 cmdlet？

文章推荐： docker - 在Mac上使用Docker而不是native/homebrew？

c++ - 无法打开源文件 "afxwin.h"/"afxext.h"/"afxdisp.h"/"afxdtctl.h"/"afxcmn.h"/afxdisp.h 等
我尝试在安装了多类型 MFC 库的 visual studio 2015 MFC 上运行以前编写的 MFC c++ 代码。但是，我这里仍然有 12 个关于缺少函数的错误: IntelliSense:
c++ - OOP C++ - 错误，因为 A.h 包含 B.h，B.h 又包含 A.h
我正在学习 OOP 并且有疑问。假设我有一个包含 ClassB.h 的文件 ClassA.h，并且在某些时候我的 ClassB.h 需要包含 ClassA .h。这会产生一个错误，我想我明白为什么会
cuda - cuda.h、cuda_runtime.h、cuda_runtime_api.h 之间的区别
我开始使用 CUDA 进行编程，在一些示例中我找到了包含文件 cuda.h、cuda_runtime.h 和 cuda_runtime_api.h 包含在代码中。有人可以向我解释一下这些文件之间的区别
python - 解决 python 正则表达式错误^H^H^H...咳咳...需要错误功能
我有一些生成正则表达式的代码。那么下面的表达式实际上是: ^(?:\s*((exclude|include|hide|show|protect|risk|dir-merge|merge)),\s*((
java - 在 Java 中使用 "h = Math.min(h, h)"有什么合乎逻辑的理由吗？
我一直在查看一些源代码，以更好地了解我们使用的这款游戏的核心，并编写更可靠、更快速的插件。然后我发现了这段奇怪的代码...... public void setMaxH(double amount)
c++ - 为什么我需要在以下示例中的 block_cache.h 之前包含 block_cache_key.h 和 block.h？
通常我们会使用标准类型作为 std::unordered_map 的键和值.但现在我需要自定义我自己的键和值类。键类在block_cache_key.h 中定义如下: #ifndef BLOCK_C
c++ - 为什么头文件 Head1.h 不能包含包含 Head1.h 的头文件 Head2.h？
例如，我想要两个头文件，它们可以依赖于另一个头文件中的函数。 //Header1.h file #include Header2.h void h1(){ //... func1(); } v
c - 《Algorithms in C part 1-4》p172 shellSort中的for(h=1;h<=(r-1)/9;h=h*3+1)循环是什么意思？
我正在研究来自 Sedgewick 的 Shell 排序 Algorithms in C part 1-4在第 172 页。我使用 size (数组的长度)，而不是 l和 r (开始和结束)；所以我
ubuntu - tk.h 在/usr/include 中查找 tcl.h，但 tcl.h 在/usr/include/tcl 中。我没有编写 tk.h 权限来修复代码
我在 macOS BigSur 上通过 VMWare 使用 Ubuntu 20.04.2 LTS。我安装了最新版本的 tcl、tcl-dev、tk 和 tk-dev - 版本 8.6。我想编译 Arc
opengl - OpenGL 文件 glew.h 和 gl.h/glu.h 之间的区别
我用我的 glu 和 gl 头文件构建了一个 OpenGL 程序，默认包含在 windows 7 专业版中。现在，我买了一本描述 OpenGL 游戏开发的书。这本书的作者说，我必须在我的项目中包含 g
elasticsearch - elasticsearch将 “H&R Blocks”标记为 “H”， “R”， “H&R”， “Blocks”
我想在 token 中保留特殊字符，同时仍对特殊字符进行 token 化。说我有话 "H&R Blocks" 我想将其标记为 "H", "R", "H&R", "Blocks" 我读了http://w
raku - Perl 6 : trans(%h) vs trans(%h. 键 => %h.values)
关于 hash 作为 trans 参数的另一个问题。在下面的代码中，简单地使用 hash 会给出不正确的结果，但是将其替换为 keys 和 values 会使其正确。怎么了？ my @alph1 =
c - Windows 的库 "X11/Xlib.h"、 "X11/Xutil.h"、 "unistd.h"
我已经编写了一个 C 程序，它获取屏幕像素的 RGB 值 (0-255)，并知道其位置 (x,y)。它可以在 Linux 中运行，但是当我尝试在 Visual Studio (Windows) 中编译
opengl - OpenGL 文件 glew.h 和 gl.h/glu.h 之间的区别
我已经使用 Windows 7 专业版中默认包含的 glu 和 gl 头文件构建了一个 OpenGL 程序。现在，我买了一本描述 OpenGL 游戏开发的书。这本书的作者说，我必须将glew head
c++ - G++ Linux 终端中的 ;; 问题
#include using namespace std; #include //#include int main() { initscr();
java - 显示与包含 h :form using a single h:message or h:messages? 相关的所有消息
h:messages h:form 内的组件还显示与外部组件相关的消息。如何限制它只显示与包含 h:form 内的组件相关的消息？我不喜欢用单独的h:message来使我的代码膨胀。每个输入组件的
c++ - 如何在 C++ 文件中包含 list.h、queue.h 和 vector.h 等头文件？
我下载了示例代码和 cpp 文件，其中包含 list.h、queue.h 和 vector.h 等头文件，如果我尝试构建，我会收到“ fatal error :没有这样的文件或目录编译终止”我想我应该
c++ - Windows Mobile 项目的 winnt.h、winbase.h 和 excpt.h 编译错误
我有一个编译成功的桌面项目，但是在我向项目添加新配置以支持 Windows Mobile 平台后，我收到以下错误: error C2146: syntax error : missing ';' be
c++ - zlib.h :34:19: fatal error: zconf. h:没有这样的文件或目录#include "zconf.h"
有很多关于这个错误的帖子，但我无法解决它，我希望你能拿出解决方案。我在 Ubuntu 机器上。 ~/graphmap2$ 在这个文件夹中，我下载了 zlib。可以看图经过一番谷歌搜索后，我还注意到没
c++ - 我可以在 Visual C++ 中使用 graph.h、dos.h 和 bios.h 吗？
是否可以在 Visual C++ 中使用以下 header : 图.h dos.h bios.h 最佳答案据我所知，无法在 Visual C++ 中使用它，与此同时，我希望您关注 Open Wat

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

hadoop - 如何在 Kerberized Hadoop 集群中连接 H2O 和 Hive？