performance - Hadoop CDH5使用1个MapReduce TaskTracker在10个节点上的最高网络性能

Question

我正在尝试使用具有1个MapReduce TaskTracker的10个节点的CDH5 Cloudera来获得最大的网络性能，但似乎无法获得所需的流量来产生所需的流量。我有40G NIC卡，目前最多只能获得10G的电量确实很低。

使用1个MapReduce TaskTracker时，如何产生更好的性能和网络吞吐量？

正在运行-10个节点
红帽6.6
当前的Nic驱动程序
CDH5
内核:3.18.1

我已经停用了9个MapReduce TaskTracker节点，但是仍然没有得到很好的结果。

Answer 1

我终于发现您确实不需要在数据节点上进行网络dfsio测试的任务跟踪器，因此我停用了所有datanode的“任务跟踪器”，并将任务跟踪器放在名称节点上，现在我既具有write / tx也具有read /现在，rx流量是我想要的网络吞吐量数据。