performance - 如何在不使用 Web 仪表板的情况下分析 Apache Storm 拓扑？

Question

标题几乎说明了一切，我有一些 Storm 拓扑，我想测量它们的延迟，即来自 Kafka 的消息与最终相关执行的最后一点之间的时间量 bolt 。如果我可以深入研究结果以查看每个 bolt 之间的延迟，则会加分。

这可以通过简单地调整 Storm 配置来完成吗？

如果不是，是http://storm.incubator.apache.org/apidocs/backtype/storm/hooks/info/SpoutAckInfo.html backtype.storm.hooks.info.SpoutAckInfo.completeLatencyMs 是我要找的东西吗？

Answer 1

对于一般的分析，我们有一个 storm 的分支，我允许主管动态设置和打开 JMX 端口等于 1000 高于工作端口(当然，这限制了我们可以分配的工作人员数量，但我们现在离那个问题还很远)。然后我们使用 supervisor.childopts 值分配 worker 的 JMX 端口并连接 Visual VM。

特定于您的指标问题，您可以使用 BaseTaskHook将 Storm 指标推送到带有 MBean 的东西(我们使用 codahale 指标)，然后再次浏览 JMX 上的值。我发布了一个示例 gist .请注意，我们尚未将 codahale 指标提升至 3.x。

使用 Java 7 工具，我相信您能够在运行的 JVM 上打开 JMX，因此如果您使用的是 Java 7+，这也会对您有所帮助。