Hadoop 基准测试/性能测试

Question

我想在我的 Hadoop 集群上执行基准测试和性能测试。我知道 hadoop-mapreduce*test*.jar 和 hadoop-mapreduce-examples*.jar 有很多用于基准测试的程序。

是否有任何文件可用于这些测试，其中提供了每个测试和性能度量的详细信息？此外，在执行任何测试后，是否有任何值可用于比较结果？

谢谢。

Answer 1

您有 HiBench，其中包含一些用于对 hdfs、hive 进行基准测试的工具...您可以在这里找到它:https://github.com/intel-hadoop/HiBench

Berkeley university created a benchmark with a dataset for hive, impala ... 你可以在这里引用:https://amplab.cs.berkeley.edu/benchmark/

Terasort 也是一个著名的基准测试。它包含 3 个生成数据并使用 MapReduce 测试集群的程序。更多信息:http://hadoop.apache.org/docs/current/api/org/apache/hadoop/examples/terasort/package-summary.html