gpt4 book ai didi

Hadoop 迷你集群模拟 (MiniDFSCluster)

转载 作者:可可西里 更新时间:2023-11-01 15:01:51 26 4
gpt4 key购买 nike

关于 hadoop-minicluster 我需要你的帮助

我正在使用 scala(使用 sbt)并尝试模拟 HDFS 的调用。我播种 hadoop-minicluster 用于部署一个小集群并在其上进行测试。

但是,当我添加 sbt 依赖时:

libraryDependencies += "org.apache.hadoop"% "hadoop-minicluster"% "3.1.0"% 测试

没有添加源,我无法导入包 org.apache.hadoop.hdfs.MiniDFSCluster

你知道我怎么解决这个问题吗?

谢谢你的回答

最佳答案

令人惊讶的是,它不在 hadoop-minicluster 中。尝试libraryDependencies += "org.apache.hadoop"% "hadoop-hdfs"% HADOOP_VERSION 分类器 "tests"

您可能还必须排除一些组件,例如"org.apache.hadoop"% "hadoop-hdfs"% HADOOP_VERSION 分类器 "tests"exclude ("javax.servlet", "servlet-api")

关于Hadoop 迷你集群模拟 (MiniDFSCluster),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49895193/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com