gpt4 book ai didi

apache-spark - 如何修复 oozie spark yarn 提交中的 '' java.lang.NoSuchMethodError"?

转载 作者:可可西里 更新时间:2023-11-01 15:08:28 25 4
gpt4 key购买 nike

我已经启动并运行了裸机 hadoop 3.1.2 集群,我还安装了 Oozie 5.1.0 并成功运行了 shell 示例。但是当我运行 Spark 示例 (FileCopy) 时,它在 oozie 中指示“成功”,而文件并未真正复制,并且 YARN stderr 包含:

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.yarn.api.protocolrecords.RegisterApplicationMasterResponse.getResourceProfiles()Ljava/util/Map;
at org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl.registerApplicationMaster(AMRMClientImpl.java:253)
at org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl.registerApplicationMaster(AMRMClientImpl.java:234)
at org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl.registerApplicationMaster(AMRMClientAsyncImpl.java:201)
at org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl.registerApplicationMaster(AMRMClientAsyncImpl.java:180)

您知道为什么会发生这种情况吗?

最佳答案

关于apache-spark - 如何修复 oozie spark yarn 提交中的 '' java.lang.NoSuchMethodError"?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55340621/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com