gpt4 book ai didi

java - 添加 hapi 3rd-party lib (jars) 到 map-reduce

转载 作者:可可西里 更新时间:2023-11-01 16:05:22 25 4
gpt4 key购买 nike

我正在尝试将 hapi jar 添加到 map-reduce 任务中。我在/home/training/lib 下有所有需要的 jar
我制作了包含我需要并运行的所有 hapi jar 的 fat jar
hadoop jar mp.jar stubs.MsgParser infile outfile -libjars /home/training/lib我懂了 Usage: MsgParser [generic options] <input dir> <output dir>在我的驱动程序中,我实现了 ToolRunner
更多信息:

  • 我在 CloudEra 发行版上运行。
  • 我只需要映射器中的 jar
  • mp.jar 是从 Eclipse 导出的 jar

我的 hadoop jar 命令是否需要修改或是否有任何其他解决方案来添加这些 jar,我无法将 jar 复制到/usr/lib/hadoop/client-0.20 因为我不是所有者
提前致谢!

最佳答案

解决方案:将您的 jar 上传到 hdfs 并简单地添加

DistributedCache.addFileToClassPath(new Path(HDFSPATH), conf);  

在驱动的main方法中

关于java - 添加 hapi 3rd-party lib (jars) 到 map-reduce,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36918903/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com