linux - 分析一个(可能受 I/O 限制的)进程以减少延迟

Question

我想提高大型应用程序中特定方法的性能。

目标是改善延迟(花在特定功能上的挂钟时间)，而不是(必然)系统负载。

要求:

1. 正如我预计很多延迟是由 I/O 引起的，请考虑等待/阻塞所花费的时间(换句话说:查看挂钟时间而不是 CPU 时间)
2. 因为该程序所做的远不止我要优化的片段。需要有一种方法可以以编程方式启动/停止分析，或者过滤输出以仅显示进入和退出我正在优化的函数之间的时间。
3. 方法级别的分析是可以接受的(如果它可以在指令级别完成，那就更好了。如果它只分析系统调用，那可能还不够)
4. 这是一个业余项目，所以昂贵的工具不是真正的选择
5. 仪器(-finstrument-functions)是可以接受的
6. 我感兴趣的关键代码段很难手动中断(因为它已经相对较快并且很难在循环中实际调用)，因此需要某种自动化。

到目前为止丢弃的工具:

• gprof、oprofile、callgrind(要求 1)
• 使用 getrusage 构建定制的东西(要求 1)
• poormansprofiler.org(要求 2)
• strace -T,dtrace, http://perf.wiki.kernel.org (要求 2 和 3)
• VTune、Zoom(要求 4)
• 手动调用堆栈抽样(要求 6)
• google-perftools(应该能够测量墙上时间，但这在我的情况下似乎不起作用，大概是因为 SIGALRM 干扰。
• systemtap(我的内核没有打补丁来包含 utrace)

我还没有进一步评估的其他选项:

• cprof(不是开箱即用的，似乎只支持 i386)
• 手动插入跟踪点(例如使用lttng)

我很想知道:

• 其他选项
• 也许我太早丢弃了一些工具？
• 我尚未评估的选项是否有可能奏效，如果有，如何最好地做到这一点。

我终于解决了:

• 根据 http://balau82.wordpress.com/2010/10/06/trace-and-profile-function-calls-with-gcc/ 我自己使用 -finstrument-functions 构建一些自定义的东西

这个粗糙的工具产生的痕迹很难解释，我可以很容易地想象出一些工具可以进一步处理它的输出，从而使它变得更加有用。但是，这暂时对我有用，所以我将该项目推迟到以后 ;)。

Answer 1

使用this method .

无论是在 CPU 还是 IO 绑定(bind)代码中，它都非常简单有效地查明优化机会。

如果您认为最大的机会在特定功能或模块中是正确的，那么它会找到它们。如果它们在别处，它会找到它们。

在您提到和丢弃的工具中，它与 poor man's profiler 最相似，但仍然不是很相似。

编辑:既然你说它是由用户交互触发的，并且在它完成之前阻止进一步的输入，那么我会这样做。

首先，我假设它不会阻止发送给调试器的手动中断信号，否则您将无法停止无限循环。其次，我会围绕所讨论的例程进行 10、100 或 1000 次循环，这样它的循环时间就足以被手动中断。

现在，假设它花费了一部分时间来处理 I/O，例如 50%。然后当你打断它时，你有 50% 的机会在 I/O 中捕获它。因此，如果您在 I/O 中捕获它，调用堆栈会告诉您，您还可以非常详细地了解从何处请求 I/O 以及为什么。

它会向您展示正在发生的事情，这几乎肯定是令人惊讶的事情。如果您看到它在少至两 (2) 个样本上做某事，您可以找到一种方法来消除，那么您将获得相当大的加速。事实上，如果您取消该事件，您事先并不知道会节省多少时间，但平均而言，您可以节省分数 F = (s+1)/(n+2)，其中 n 是您采集的样本总数，s 是显示事件的样本数。 (Rule of Succession)例如，如果您获取了 4 个堆栈样本并在其中 2 个样本上看到了事件，平均而言，它会为您节省 F = 3/6 = 1/2，对应于 1 的加速因子/(1-F) 或 2.

完成后，您可以再做一次并找到其他要修复的东西。加速因子像复利一样相乘。

当然，您可以删除外部循环并“兑现”您获得的所有加速。

如果您想知道这与概要分析有何不同，那就是通过仔细检查每个堆栈样本和可能的相关数据，您可以识别可以删除的事件，如果您得到的只是测量值，那么您就剩下了试图凭直觉知道发生了什么。无论任何测量结果如何，您实际节省的时间都是如此。重要的是找到问题。无论剖析器如何精确地测量它，如果您不能找到它，您就不会赢。这些页面上到处都是人说他们要么不明白他们的探查器告诉他们什么，要么似乎在说没有什么可以解决的，他们只是太愿意接受了。这是玫瑰色眼镜的情况。

More on all that.