linux - 如何测量 Linux 中命令的 IOPS？

Question

我正在研究一个模拟模型，我想确定存储 IOPS 容量何时成为瓶颈(例如，HDD 有大约 150 IOPS，而 SSD 可以有 150,000)。所以我试图想出一种方法来在命令 (git) 中针对其中一些不同的操作(推送、 pull 、 merge 、克隆)对 IOPS 进行基准测试。

到目前为止，我已经找到了像 iostat 这样的工具，但是，我不确定如何将报告限制为单个命令的作用。

我能想到的最好的主意是确定我的硬盘 IOPS 容量，在实际命令上使用时间，看看它持续多长时间，将其乘以 IOPS，这些就是我的 IOPS:

HDD ->150 IOPS
time df -h

real    0m0.032s

150 * .032 = 4.8 IOPS

但是，这当然是非常愚蠢的，因为执行的持续时间可能与 CPU 使用率而不是 HDD 使用率有关，所以除非当时 HDD 的使用率是 100%，否则测量诸如此类的东西是没有意义的那个。

那么，我该如何测量命令的 IOPS？

Answer 1

在典型的 Linux 系统上有多个 time(1) 命令；默认是 bash(1) 内置的，有点基础。还有 /usr/bin/time ，你可以通过像那样调用它来运行它，或者通过在它前面加上反斜杠来告诉 bash(1) 不要使用别名和内置函数:\时间。 Debian 在默认安装的“time”包中有它，Ubuntu 可能是相同的，其他发行版也非常相似。

以类似于 shell 内置函数的方式调用它已经更加冗长和信息丰富，尽管可能更加不透明，除非您已经熟悉数字的真正含义:

$ \time df
[output elided]
0.00user 0.00system 0:00.01elapsed 66%CPU (0avgtext+0avgdata 864maxresident)k
0inputs+0outputs (0major+261minor)pagefaults 0swaps

但是，我想提请您注意手册页，其中列出了用于自定义输出格式的 -f 选项，特别是 %w 格式它计算进程为 I/O 放弃其 CPU 时间片的次数:

$ \time -f 'ios=%w' du Maildir >/dev/null
ios=184
$ \time -f 'ios=%w' du Maildir >/dev/null
ios=1

请注意，第一次运行因 I/O 停止了 184 次，但第二次运行仅停止了一次。第一个数字是可信的，因为我的 ~/Maildir 中有 124 个目录:目录和 inode 的读取大约为每个目录提供两个 IOPS，少一点，因为一些 inode 可能紧挨着每个目录other 并在一个操作中读取，再加上一些额外的用于在 du(1) 二进制文件、共享库等中进行映射。

由于 Linux 的磁盘缓存，第二个数字当然要低一些。所以最后一 block 是刷新缓存。 sync(1) 是一个熟悉的命令，它会将脏写入刷新到磁盘，但不会刷新读取缓存。您可以通过将 3 写入 /proc/sys/vm/drop_caches 来刷新那个。 (其他值偶尔也有用，但您需要 3。)作为非 root 用户，执行此操作的最简单方法是:

echo 3 | sudo tee /proc/sys/vm/drop_caches

将它与 /usr/bin/time 相结合应该允许您构建您需要的脚本来对您感兴趣的命令进行基准测试。

除此之外，使用 tee(1) 是因为它不起作用:

sudo echo 3 >/proc/sys/vm/drop_caches

原因是什么？虽然 echo(1) 以 root 身份运行，但重定向是作为您的普通用户帐户，它没有对 drop_caches 的写入权限。 tee(1) 以 root 身份有效地进行重定向。