apache-storm - 如何监控 Bolt 的待处理队列的大小？

Question

我的拓扑有一个或两个瓶颈。 Storm UI 中的容量指标对于识别这些很有用，但我对 Bolt 队列的大小更感兴趣。

我的理解是每个 bolt 都有两个队列，一个用于等待执行的元组，另一个用于等待发射的元组。是否可以监控这些队列的大小？

我在网上找到了一些关于向 Bolts 添加 ITaskHook 实现的资料，但我并不清楚如何使用它来监控队列大小。 ITaskHook中的方法可以用来监控吗？

Answer 1

您应该能够使用 metrics 查看拓扑组件的队列长度机制。一种简单的方法是将 conf.registerMetricsConsumer(LoggingMetricsConsumer.class) 添加到拓扑的配置中。

这是我从我的一个组件中得到的一个例子

4:fetch __sendqueue {write_pos=12122, read_pos=12122, capacity=1024, population=0}
4:fetch __receive {write_pos=8588, read_pos=8587, capacity=1024, population=1}