gpt4 book ai didi

hadoop - hadoop 2.6.0测试样本。

转载 作者:行者123 更新时间:2023-12-02 21:35:20 24 4
gpt4 key购买 nike

我有2个从属节点小型集群hadoop系统,并尝试对其进行一些测试。 系统已使用hadoop 2.6.0成功配置,并且我已经在上完成了WordCount测试。除WordCount之外,还有其他良好的测试示例吗? (也许更实际的测试处理更大的数据)使用开源代码?我已经从google搜索中看到了大多数示例,但是hadoop版本太旧了,或者没有源代码可以对其进行测试。我喜欢一个:尽管Hadoop版本已经过时,但可以使用WikiHadoop使用Hadoop分析完整的Wikipedia转储文件。如果有人知道有更新的版本,那就太好了(任何类似的版本都会很不错)... TIA!

最佳答案

我正在一个项目中举例说明Hadoop MapReduce框架中的不同功能。它仍在进行中,但是使用现代API(Java和Hadoop)的WordCount作业有不同版本。

它包括用于生成测试输入文件的工具。但是,只需进行少量更改,您就可以使用它来处理自己的测试文件。就像修改映射器中的跟随线以使用空格或逗号分隔一样。

String[] words = line.split("\t");

https://github.com/lalosam/HadoopInExamples

关于hadoop - hadoop 2.6.0测试样本。,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32725076/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com