hadoop - 使用 Hadoop 存储和处理时间序列

Question

我想存储来自设备的大量时间序列。此外，这些时间序列必须经过验证，可以由运算符(operator)修改，并且必须导出到其他系统。必须找到时间序列中的漏洞。时间序列必须显示在按序列号和日期范围过滤的 UI 中。

这个场景我们考虑过使用hadoop、hbase、opentsdb和spark。

你怎么看？ Spark 可以轻松连接到 opentsdb 吗？

谢谢

Answer 1

OpenTSDB 非常适合存储大量时间序列数据。在内部，它以 HBase 为基础——这意味着它必须找到一种方法来绕过 HBase 的限制才能表现良好。结果，时间序列的表示被高度优化并且不容易解码。据我所知，没有开箱即用的连接器可以将数据从 OpenTSDB 提取到 Spark。

以下 GitHub 项目可能会为您提供一些指导:

Achak1987's connector

如果您正在寻找可以帮助您处理时间序列的库，请查看 spark-ts - 它还包含用于缺失数据插补的有用函数。