hadoop - Apache 点燃 : What are the dependencies of IgniteHadoopIgfsSecondaryFileSystem?

Question

我正在尝试使用 Hadoop 作为辅助存储来设置 IGFS。我的配置如图所示 here但我不断收到NoClassDefFoundError s。我已经下载了 Ignite 的两个二进制发行版，并尝试从源代码构建，但不包括依赖项。 hadoop-common-2.6.0.jar和 ignite-hadoop-1.4.0.jar提供了一些依赖项，但现在我得到了 NoClassDefFoundError对于 org/apache/hadoop/mapred/JobConf据我了解，这是一个已弃用的类(class)......

我一直按照 Apache Ignite 网站上的说明进行操作，但据我所知。

IgniteHadoopIgfsSecondaryFileSystem 作为二级存储需要哪些依赖项？

Answer 1

看起来问题是 Ignite 节点在类路径上没有 Hadoop 库。要解决此问题，请尝试执行以下操作:

1) 使用 Ignite 发行版的“Hadoop Accelerator”版本(如果您自己构建发行版，请使用 -Dignite.edition=hadoop)。

2) 如果您使用的是 Apache Hadoop 发行版，或者如果您使用其他发行版(HDP、Cloudera、BigTop 等)，请为 Ignite 进程设置 HADOOP_HOME 环境变量，请确保/etc/default/hadoop 文件存在并具有适当的内容.

或者，您可以手动将必要的 Hadoop 依赖项添加到 Ignite 节点类路径:这些是文件 modules/hadoop/pom.xml 中列出的 groupId "org.apache.hadoop"的依赖项。目前他们是:

hadoop 注释

hadoop 身份验证

hadoop-common

hadoop-hdfs

hadoop-mapreduce-client-common

hadoop-mapreduce-client-core