hdfs - Hadoop/HDFS 3.1.1(在 Java 11 上)加载文件资源管理器时 Web UI 崩溃？

Question

这个问题在这里已经有了答案:

What is the replacement for javax.activation package in java 9? (6 个回答)

关闭 3年前。

start-dfs.sh 之后，我可以导航到 http://localhost:9870。 NameNode 似乎运行良好。

然后我点击“Utilities -> Browse the file system”并在网络浏览器中得到提示:

Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error

深入日志文件($HADOOP_HOME/logs/hadoop-xxx-namenode-xxx.log)，我发现:

2018-11-30 16:47:25,097 WARN org.eclipse.jetty.servlet.ServletHandler: Error for /webhdfs/v1/
java.lang.NoClassDefFoundError: javax/activation/DataSource
    at com.sun.xml.bind.v2.model.impl.RuntimeBuiltinLeafInfoImpl.(RuntimeBuiltinLeafInfoImpl.java:457)
    at com.sun.xml.bind.v2.model.impl.RuntimeTypeInfoSetImpl.(RuntimeTypeInfoSetImpl.java:65)
    at com.sun.xml.bind.v2.model.impl.RuntimeModelBuilder.createTypeInfoSet(RuntimeModelBuilder.java:133)

所以缺少一个类。为什么会这样？我该如何解决这个问题？

Answer 1

Java 9 弃用了 java.activation module . Java 11 removed it完全。

Java 9 和 Java 10 用户可以将该模块重新添加到 Hadoop 的类路径中。把它放在 $HADOOP_CONF_DIR/hadoop-env.sh(未测试):

export HADOOP_OPTS="${HADOOP_OPTS} --add-modules java.activation "

Java 11 用户必须首先下载 jar 依赖项并使其在类路径中可用。但它去了吗？

我发现将 jar 放在这些位置中的任何一个位置都会使 Hadoop 自动拾取它，效果是在线文件浏览器开始工作:

$HADOOP_HOME/share/hadoop/common
$HADOOP_HOME/share/hadoop/common/lib
$HADOOP_HOME/share/hadoop/mapreduce
$HADOOP_HOME/share/hadoop/mapreduce/lib

不确定将文件放在一个或另一个文件夹中的确切后果。但是，我喜欢尽可能地限制我的 hack，因为我已经有一个单独的配置目录(即，不是 $HADOOP_HOME/etc/hadoop)我想把它放在那里。将 jar 文件放在任何其他位置也需要我们将此路径添加到 HADOOP_CLASSPATH 变量中。

所以，复制粘贴到你的终端:

URL=https://jcenter.bintray.com/javax/activation/javax.activation-api/1.2.0/javax.activation-api-1.2.0.jar
wget $URL -P $HADOOP_CONF_DIR/lib
echo 'export HADOOP_CLASSPATH+=" $HADOOP_CONF_DIR/lib/*.jar"' >> $HADOOP_CONF_DIR/hadoop-env.sh

作为最后一点，我认为可以肯定地说，除了真正的 old Java versions 之外，不能指望 Hadoop 在任何事情上都能很好地工作。 .谷歌搜索显示 Java 9, 10 and 11 仍然存在未处理的票证.所以本质上，这是一个 Hadoop 问题。话虽如此，尽管我们解决了让在线文件浏览器正常工作的一个问题，但肯定还会有许多其他问题。