apache-spark - 发送Spark流指标以打开tsdb

Question

如何从Spark Streaming作业发送指标以打开tsdb数据库？我正在尝试使用开放式tsdb作为Grafana中的数据源。您能帮我提供一些引用资料吗？

我确实在这里看到了开放的tsdb报告程序，它做了类似的工作。如何整合Spark流作业中的指标以使用此指标？有没有简单的选择可以做到这一点。

Answer 1

将度量发送到opentsdb的一种方法是使用它的REST API。要使用它，只需将指标转换为JSON字符串，然后利用Apache Http Client库发送数据(它在java中，因此可以在scala中使用)。可以在github上找到示例代码。

一个更优雅的解决方案是使用Spark指标库并将接收器添加到数据库。在为Spark指标库添加OpenTSDB接收器时有一个discussion，但是最终没有将其添加到Spark本身中。该代码在github上可用，应该可以使用。不幸的是，该代码在Spark 1.4.1上兼容，但是，在最坏的情况下，仍然有可能获得一些必要添加的提示。