gpt4 book ai didi

Hadoop I/O 密集型示例

转载 作者:可可西里 更新时间:2023-11-01 15:36:34 28 4
gpt4 key购买 nike

我想通过多个 I/O 密集型作业测试我的 Hadoop I/O 性能。我知道基准测试 TestDFSIO 是一个很好的例子。但我仍然想知道是否还有其他好的 Hadoop I/O 密集型基准测试?

顺便说一句,是否有任何 CPU 密集型基准测试?

谢谢。

最佳答案

Wordcount 是 CPU 密集型的,而正如另一个答案所述,Terasort 是 I/O 密集型的。

你应该看看 HiBench ,这是英特尔的 Hadoop 基准测试套件。

HiBench 使用许多现有的 Hadoop 基准测试并包括用于 Wordcount(或 Terasort)等基准测试的准备脚本,因为这些基准测试要求首先生成输入数据。

关于Hadoop I/O 密集型示例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24264687/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com