gpt4 book ai didi

java - 在 hadoop mapreduce 作业中插入连接到数据库时出现异常

转载 作者:行者123 更新时间:2023-11-29 23:07:26 25 4
gpt4 key购买 nike

我有一个mapreduce作业,它应该将数据保存到MySQL数据库,但它抛出了一个异常,

 INFO mapred.JobClient: Task Id : attempt_201501122044_1310_r_000001_0, Status : FAILED
java.io.IOException at org.apache.hadoop.mapreduce.lib.db.DBOutputFormat.getRecordWriter(DBOutputFormat.java:180)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:597)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:444)
at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
at org.apache.hadoop.mapred.Child.main(Child.java:262)

这个mapreduce作业在5个节点的集群上运行,我已经通过测试简单的带有sql连接创建的主类来确认数据库连接正在形成。

我现在陷入了困境。

最佳答案

这是一个权限问题:请注意 UserGroupInformation 已被标记:

    `at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:164`2)

什么样的安全问题?从 Stacktrace 来看还不清楚。你的代码有做HDFS吗?或者还有什么会触发安全检查?

关于java - 在 hadoop mapreduce 作业中插入连接到数据库时出现异常,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28235458/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com