gpt4 book ai didi

time-series - Apache Spark 移动平均线

转载 作者:行者123 更新时间:2023-12-03 07:38:54 26 4
gpt4 key购买 nike

我在 HDFS 中有一个巨大的文件,其中包含时间序列数据点(雅虎股票价格)。

我想找到时间序列的移动平均值,我该如何编写 Apache Spark 作业来做到这一点。

最佳答案

您可以使用 MLLIB 中的滑动函数,它的作用可能与 Daniel 的答案相同。在使用滑动功能之前,您必须将数据按时间排序。

import org.apache.spark.mllib.rdd.RDDFunctions._

sc.parallelize(1 to 100, 10)
.sliding(3)
.map(curSlice => (curSlice.sum / curSlice.size))
.collect()

关于time-series - Apache Spark 移动平均线,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23402303/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com