apache-spark - 使用 spark-t 规范不均匀间隔的时间序列

Question

我们计划将我们的传感器时间序列数据存储在 cassandra 中并使用 spark/spark-ts对其应用机器学习算法。

与文档不同，我们的时间序列数据是不规则的 - unevenly spaced time series - 作为传感器发送基于事件的数据。

但是大多数算法和模型都需要有规律的时间序列。

是否spark-ts提供将不规则时间序列转换为规则时间序列的任何函数(使用插值或时间加权平均等)？

如果没有，解决该问题的推荐方法是什么？

Answer 1

spark-ts 不提供任何将不规则时间序列转换为规则时间序列的功能。

您如何处理不规则间隔的时间序列取决于您试图通过分析实现的目标。时间序列的用例包括预测/预测、异常检测或尝试理解/分析过去的行为。

如果您希望使用 spark-ts 中可用的算法(而不是通过为事件流设计的其他统计过程对您的数据进行建模)，一种选择是将时间轴划分为大小相等的箱，然后计算您的摘要每个 bin 内的数据(例如，总数、平均值等)。随着您的 bin 越来越细粒度，由于量化时间维度而丢失的信息会最小化，但您的数据可能更难建模(因此 bin 大小控制权衡)。因此，分箱后的数据会形成一个均匀分布的时间序列，您可以使用典型的时间序列技术对其进行分析。