gpt4 book ai didi

unit-testing - Hadoop 的 Maven 依赖项 : MiniDFSCluster & MiniMRCluster

转载 作者:可可西里 更新时间:2023-11-01 14:14:53 28 4
gpt4 key购买 nike

我想实现一个 Maven 项目,它可以帮助我对 Hadoop MapReduce 作业进行单元测试。我最大的问题是定义 Maven 依赖项以便能够使用测试类:MiniDFSCluster 和 MiniMRCluster。

我正在使用 Hadoop 2.4.1。有什么想法吗?

最佳答案

如果其他人仍在搜索答案:

MiniMRCluster 现已弃用。

您可以在依赖项中获取 MiniDFSCluster 和 MiniMRCluster(针对 Gradle 显示)

compile group: 'org.apache.hadoop', name: 'hadoop-minicluster', version: '2.7.2'

依赖项基本上只是一个 pom 文件,列出了这个包中的依赖项。对于那些想要查找它的人,MiniDFSCluster 在神器 hadoop-hdfs:tests

您不必使用 Cloudera 存储库中的依赖项

关于unit-testing - Hadoop 的 Maven 依赖项 : MiniDFSCluster & MiniMRCluster,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24554050/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com