gpt4 book ai didi

mongodb - HDP沙箱中MongoDB Hadoop连接器故障产生的Hive日志在哪里?

转载 作者:行者123 更新时间:2023-12-02 21:09:08 28 4
gpt4 key购买 nike

我遇到一个奇怪的错误,我在Azure Hortonworks Sandbox上的任何日志中都找不到。
我正在尝试执行以下操作方法,以尝试将Mongodb与Hadoop(Hive)集成:https://www.mongodb.com/blog/post/using-mongodb-hadoop-spark-part-2-hive-example,但是当我尝试使用Hive在Mongo中创建表时,出现以下错误(使用hive CLI,beeline和Ambari MR2和Tez处理器上的 hive View ):

Error: Error while processing statement:  FAILED: Execution Error, 
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.com/mongodb/BasicDBObject (state=08S01,code=1)

好吧,在搜索此消息时,我发现人们引用一些描述真正异常是什么的Java日志,并得出结论(大多数时候),mongodb-java-driver jar缺少类路径。

我的第一个问题:这些日志在哪里描述真正的异常?因为在/var/log/hive*/*.log和Yarn ResourceManagerUI->日志中查找,所以除了“InterruptedException”,“ERROR applicationhistoryservice.ApplicationHistoryServer(LogAdapter.java:error(69))-收到的信号”之外,我什么都看不到15:SIGTERM”,依此类推...但是没有什么真正有用的。

接下来,我在本地配置单元中指定的本地路径中添加了mongo-hadoop-core和mongo-hadoop-hive jars(根据我的沙箱版本规范从github构建)和mongodb-java-driver版本3.3.0。 hive-site.xml的aux.jars.path,并最终重新启动了我的hive服务(因此,包括hive-server2)...但是无法正常工作,也无法获取更多信息以了解为什么它不起作用正在运行...

我忘记了什么吗?
谢谢你的帮助!

最佳答案

好吧,我终于找到了我的问题。

缺少坛子bson- $ MongoVersion .jar和mongodb-driver-core- $ MongoVersion .jar。

即使连接器文档指定我们需要将mongo-hadoop-core- $ connectorVersion.jar,mongo-hadoop-hive- $ connectorVersion.jar和mongodb-driver- $ mongoJavaDriver.jar包含到hadoop类路径中,似乎也需要bson和mongodb-driver-core jars也是如此。

最后,日志位于此处: /var/log/hive/hiveserver2.log 。我不明白我怎么会错过阅读这些日志的消息,但是,就在这里。

关于mongodb - HDP沙箱中MongoDB Hadoop连接器故障产生的Hive日志在哪里?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40887361/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com