hadoop - 如何在Hadoop程序中使用外部Jar文件-6ren

hadoop - 如何在Hadoop程序中使用外部Jar文件

转载作者：行者123 更新时间：2023-12-02 21:50:36

29

4

我有一个Hadoop程序，其中使用了几个外部jar文件。当我将程序的jar文件提交到Hadoop集群时，会出现以下错误。

Exception in thread "main" java.lang.NoClassDefFoundError: edu/uci/ics/jung/graph/Graph
 at java.lang.Class.forName0(Native Method)
 at java.lang.Class.forName(Class.java:247)
 at org.apache.hadoop.util.RunJar.main(RunJar.java:201)

我了解问题所在，但不知道如何解决。如何将jar文件添加到程序中？

最佳答案

我想，您还可以通过指定JAVA_LIBRARY_PATH或LD_LIBRARY_PATH变量来显式修改作业正在运行的任务尝试的环境:

hadoop jar [主分类]
-D mapred.child.env =“LD_LIBRARY_PATH = / path / to / your / libs” ...

关于hadoop - 如何在Hadoop程序中使用外部Jar文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/21323116/

29

4

0

文章推荐： sql - 按领域区分的 Entity Framework

文章推荐： javascript - 检查 Jest 中功能组件的状态值

文章推荐： google-api - googleapis 返回错误请求

文章推荐： java - 文本中的常用词

spring-boot - 如果在同一个 Jar 中，为什么 Jars in Jars 不能看到 Jars 中其他 Jars 的内容？
tl;博士:我们的 Spring Boot jar 中的类似乎可以看到捆绑的 jar 中的类，但它们的内容似乎无法看到。为什么？我们的主要产品是一个网络应用程序，但所有的业务逻辑都集中在一个核心 m
jar - MR-Jars 可以覆盖其他 jar 中的类吗？
我有一个适用于 Java 8 的 jar。我想创建一个新 jar，它将是多版本 JAR 但为空，只有 META-INF/versions 中的“修补”类. 我想要一个单独的 jar，这样人们就可以在
java - 将 API .JAR 合并到我的 .JAR 应用程序中时遇到问题。 JAR 中的 JAR
免责声明: 在我得到“这个问题已经被问了 1000 次”的标准之前，让我说，是的，我知道。我读了又读又读。看了 JarJar 和 One-JAR，但问题是:我是自学成才的，只有几个月的经验，而且我不熟
Java Jar 将多个 jar 组合成一个可执行 Jar
我知道要组合多个 jar 并创建一个可执行 jar，我需要使用像 OneJar 这样的工具如果我不想解压相关的 jar 。 OneJar 有自己的自定义类加载器，可以在关联的 jar 中找到所需的类并
java - 如何在 Eclipse IDE 项目中将 a.jar、b.jar、c.jar、d.jar 合并到一个名为 e.jar 的 jar 中？你能告诉我们执行此操作的步骤吗？
在我的项目中，我使用许多 jar 文件来支持该项目。随着 jar 文件数量的增加，我想将所有 jar 文件移动到一个 jar 中并利用它。您能给我提供有用的链接吗？可以帮助我做到这一点。最佳答案有
jar - 删除目录中的重复 jar
我有一个脚本可以删除目录中的低版本 jars 文件。 #!/bin/bash #Script to remove lower version jar files. for PREFIX in `ls
jar - 如何以编程方式重新启动 jar？
可执行 jar 文件可以自行重启吗？例如，在用户做出一些选择后，程序会说“重新启动应用程序？”并且用户单击"is"，然后 jar 关闭并自行重新启动。最佳答案需要重新启动应用程序是糟糕设计的标志。
jar - .jar 文件根本打不开
过去两年我一直有这个问题。我有一个从 Internet 下载的 .jar 文件。它应该是一个魔方计时器。当我双击这个 .jar 文件时，没有任何反应。如果我将 .jar 文件设置为使用 java.
jar - Gradle项目依赖项未引用SNAPSHOT jar
我正在尝试在多项目Gradle构建中创建一个胖jar文件，如下所示: root +-- project1 +-- project2 project1提供了基本功能，然后project2将其用于
java - 如何以 jar 格式获得一个包含该 jar 内依赖项的最终 jar？
我需要 Maven 的配置，其中项目内的所有库都以 jar 格式保存在最终的 jar 中...所以我需要在最终的 jar 中包含 jar。为此我只能使用maven。我已经尝试过像 one-jar 这样
java - JAR、Fat JAR、可执行 JAR 之间的区别
JAR、Fat JAR 和 Executable JAR 之间有什么区别？它们是如何从命令行和 gradle.build 任务创建的(如果是 gradle 项目)？除了上面提到的以外，还有其他的JA
java - Maven 插件创建可执行 jar 与未解压的依赖项 (jar with jars)
我阅读了很多构建具有依赖项的可执行 jar 的解决方案(maven 阴影插件、maven 依赖项插件、maven 程序集插件)和所有这些插件解压依赖项 jar 并将它们重新打包到可执行 jar 中。唯
java - "java $SOME_ENV_VAR -jar application.jar"和 "java -jar $SOME_ENV_VAR application.jar"之间的区别
我想问一下java命令中-jar选项前后传递参数有什么区别。考虑 $SOME_ENV_VAR=-Dinstance=qa 最佳答案取决于SOME_ENV_VAR的内容；假设它包含有效的命令行参数，例
jar - Leiningen:创建可执行 jar 以在没有 java -jar 的情况下运行
我试图了解如何打包用 Clojure 编写的命令行应用程序进行分发。我不希望用户不得不使用 java -jar myproject.jar arg1 arg2运行程序。 PHP 有一个叫做“Phar”
jar - gradle - 如何构建一个带有 lib 目录和其他 jar 的 jar？
在 gradle 中 - 如何将 jar 嵌入到 lib 中的构建输出 jar 中目录(特别是 lib/enttoolkit.jar 和 lib/mail.jar)？最佳答案如果您的项目中的一个目
java - javadoc.jar、sources.jar 和 .jar 之间有什么区别？
查看 Google gson 2.8.5 ，我看到这里分发了几个 jar https://repo1.maven.org/maven2/com/google/code/gson/gson/2.8.5/
java - 在 JAR 中包含 JAR 会使类看不到 jar 内容
我正在将 jar 文件和一个主类合并到一个 jar 中。问题是我的主类使用这些 jar ，如果它在一个 jar 中，它就会抛出找不到类定义。如何让类(class)看到 jar 里的 jar ？最佳答
java - 在制作项目 jar 时包含一些 jar 并排除其他 jar 吗？
我正在使用 Maven 进行开发。我有一个要求，我想在我的项目 jar 中包含一些第三方 jar 并排除 pom.xml 文件中指定的其他 jar。下面是我的 pom.xml 文件。 4.0.0 c
java - 你能在一个 jar 文件中添加多个 jar 然后启动那个 jar 文件吗
我正在开发一个 GUI 应用程序，宁愿只分发一个 jar 而不是多个。你能用 list 来控制它吗？最佳答案另一种选择是使用自定义类加载器，例如这个: http://one-jar.source
java - : api. jar + impl.jar + bundle.jar 的用途是什么？
我看到许多 Java 包都有 api、impl 和 bundle jar(name-api.jar、name-impl.jar、name-bundle.jar)。有人可以解释这些是什么意思吗？应用程序

首页

博学

6Ren·AI

商城

hadoop - 如何在Hadoop程序中使用外部Jar文件