maven - 用于 Hadoop 2.6.0 的 pom.xml

Question

我正在尝试使用 Hadoop 实现一个应用程序 => 从天气数据中查找最高温度(来自 Tom White 的书 Hadoop:权威指南(第 3 版))。我已经下载并安装了 Hadoop 2.6.0我应该添加哪些依赖项才能使其正常工作？

Answer 1

一步一步:

1. 将cloudera 添加到您的settings.xml(在${HOME}/.m2/settings.xml 下)以访问hadoop 依赖项

   <repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
        <releases>
             <enabled>true</enabled>
        </releases>
        <snapshots>
             <enabled>true</enabled>
        </snapshots>
   </repository>
   

2. 将 hadoop 依赖项添加到您的 pom.xml 中。

   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-hdfs</artifactId>
       <version>2.6.0</version>
   </dependency>
   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-auth</artifactId>
       <version>2.6.0</version>
   </dependency>
   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-common</artifactId>
       <version>2.6.0</version>
   </dependency>
   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-core</artifactId>
       <version>1.2.1</version>
   </dependency>
   

3. 然后尝试“mvn clean install”命令进入包含 pom.xml 文件的项目文件夹。