linux - FIO 延迟百分位数随时间变化

Question

我想测量和绘制 SSD 的延迟百分比随时间的变化。如果有人做过类似的事情，请分享您可能有的任何建议。我对如何运行 FIO 以及如何处理结果都很感兴趣。

我将首先描述我想要使用的测试方法，然后描述我到目前为止所做的(以及不完美的工作)，最后提出几个问题。

目标:

• 我想跟踪一段时间内的平均延迟时间和 95%、99%、99.9% 的延迟百分位数。显然，这些措施是在一个时间窗口内隐式定义的，我希望能够将其设置为 10-60 秒的间隔。

• 我想比较这些延迟百分位数如何随着我在恒定设备负载下改变 IO 模式而变化。我需要能够控制总负载(发送到设备的数据量)以确保百分位数实际上是可比较的。一个简单的例子是:a) 有一个顺序写入 200MB/s 的线程与 b) 2 个写入 100MB/s 的线程。如果两个实验之间的总吞吐量不同，则比较百分位数将毫无意义。

到目前为止我尝试了什么:

• FIO 的自定义版本可提高延迟直方图的分辨率。这可能不需要。

• 我打开了 json+ 输出，以便获得漂亮的延迟直方图。但是，这些直方图汇总了整个 FIO 运行，因此我无法衡量延迟随时间的变化。

• 为了获得延迟随时间的变化，我想到了一个接一个地启动许多小型 FIO 作业。例如，如果我想获得超过 1 小时的延迟，我将启动 120 次 FIO 运行，每次运行 30 秒，并将每个输出保存到不同的文件中。每个输出都会给我超过 30 秒的延迟百分位数。但是，这种方法有两个问题:

  1. FIO启动需要较长的时间(大约15-20s)，这使得SSD可以进行GC并修复写入性能。

  2. 对于顺序写入，写入偏移量在每个 FIO 作业开始时重置。这意味着新的 FIO 运行实际上不会继续按顺序写入，更糟糕的是，设备的某些部分可能根本不会写入。

问题:

• 有没有一种方法可以使用 FIO 来跟踪延迟随时间的变化。如果是这样，能否请您举个例子？

• 对于顺序写入，如何提高吞吐量？默认情况下，用于顺序写入的 FIO 使用 iodepth 1(队列深度 1)。我没有看到增加吞吐量的明确方法。增加 iodepth 似乎没有帮助。

• 我看到 FIO git repo 中有一些用于绘图的 python 脚本。这些有用吗？谁能给我指出一些类似于我想做的事的例子？

Answer 1

@Radu - 你在错误的网站上问这个问题(Stack Overflow 更适合编程问题)。 Serverfault或 Super User可能更合适。无论如何，我会试一试(但答案可能质量不高，因为你同时问了很多问题，所以这就是我有时间回答的全部):

There is a long time required for the FIO startup

当 fio 启动时，如果您要对其进行 I/O 的文件不存在(至少大小合适)，则 fio 必须创建它。 fio 做的另一件事(如果你的平台支持的话)是 invalidate the cache of the file .如果您一直在排队等待大量尚未发送到磁盘的缓存写入，那么刷新这些缓存和删除缓存可能需要一些时间。因为我看不到你的工作文件，所以我真的不能说更多...

Is there a method to use FIO to keep track of latency changes over time. If so, could you please provide an example?

如您所见fio's summary output is cumulative所以它对你的情况没那么有用。但是你可以只使用 fio's latency logging至 record latency periodically (默认情况下，fio 为每个 I/O 创建一个条目，因此另请参阅 log_avg_msec 选项和 Log File Formats section )并稍后自己进行后处理(您甚至可以使用 fiologparser_hist.py )。

For sequential writes, how could I increase throughput?

这本身就是一个很大的话题，我在这里无法一一阐述。不过，您可以从一些起点开始:尝试切换到像 libaio 这样的异步 ioengine。并增加 iodepth (例如到 32)和设置 direct=1 .更大的block size (例如 512k 而不是 4k)通常也有助于吞吐量(but don't make it too large)。请重新阅读帮助页面/HOWTO尽管它很大，因为其中描述了您遇到的一些问题(在这种情况下，灵活也意味着复杂......)。

Would any of [python scripts in the FIO git repo for plotting ] be useful?

是吗？还有一些基于 shell 的脚本(如 fio2gnuplot)。 http://tfindelkind.com/2015/09/16/fio-flexible-io-tester-part9-fio2gnuplot-to-visualize-the-output/举个例子。但是，如果您了解创建的延迟文件，您可能会发现很容易在您选择的任何电子表格或统计工具中绘制它们。

另一个提示 - 尝试确保您使用的是最新版本的 fio(有关版本，请参阅 https://github.com/axboe/fio/releases，一旦您拥有所需的依赖项 - https://github.com/axboe/fio/blob/fio-3.2/README#L130，它的构建就相当容易)。链接的在线 HOWTO 仅适用于最新版本的 fio，并且修复了许多旧版本的 fio 中没有的错误...

祝你好运!