hadoop - 以 MB 或 Mb 为单位的 mapreduce 指标中的吞吐量

Question

运行 TestDFSIO 后，我得到了以下指标:

2019-04-30 09:50:35,790 INFO fs.TestDFSIO:             Date & time: Tue Apr 30 09:50:35 EDT 2019
2019-04-30 09:50:35,791 INFO fs.TestDFSIO:         Number of files: 100
2019-04-30 09:50:35,791 INFO fs.TestDFSIO:  Total MBytes processed: 10000
2019-04-30 09:50:35,791 INFO fs.TestDFSIO:       Throughput mb/sec: 376.9
2019-04-30 09:50:35,791 INFO fs.TestDFSIO:  Average IO rate mb/sec: 387.16
2019-04-30 09:50:35,791 INFO fs.TestDFSIO:   IO rate std deviation: 60.42
2019-04-30 09:50:35,791 INFO fs.TestDFSIO:      Test exec time sec: 115.21 

平均 IO 速率 mb/sec 是兆字节还是兆位？

Answer 1

TestDFSIO 是一个有用的工具，但唯一可用的文档在其源代码中。

通过查看 TestDFSIO.java 的代码，吞吐量似乎以兆字节/秒表示。

在source code可以看到 troughput 是如何计算的:

"      Throughput mb/sec: " + df.format(toMB(size) / msToSecs(time)),

函数toMB()是字节数除以MEGA:

static float toMB(long bytes) {
    return ((float)bytes)/MEGA;
  }

这又是常量 0x100000L，即整数 1048576=1024*1024。

来自代码:

private static final long MEGA = ByteMultiple.MB.value();

和

enum ByteMultiple {
    B(1L),
    KB(0x400L),
    MB(0x100000L),
    GB(0x40000000L),
    TB(0x10000000000L);
   ...

因此吞吐量应以兆字节/秒 (MiB/sec) 而非兆字节 (MB) 表示。