python - 时间序列数据的运行平均值/频率？

Question

给定一个包含如下内容的数据集:

[2, 3, 4, 5, 6, 7, 8, 9, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 65, 75, 85, 86, 87, 88]

这些值总是在增加(实际上是时间)，我想找出这些值之间的运行平均距离。我实际上是在尝试确定数据何时从“每秒 1 次”变为“每 5 秒 1 次”(或任何其他值)。

我正在用 Python 实现它，但欢迎使用任何语言的解决方案。

我正在寻找上面示例输入的输出类似于:

[(2, 1), (10, 5), (55, 10), (85, 1) ]

其中，“2”表示值之间的距离从哪里开始为“1”，并且，“10”表示距离变为“5”的位置。 (它必须恰好在那里，如果晚一步检测到偏移，那也没关系。)

我正在寻找值之间的平均距离何时发生变化。我意识到在算法的稳定性和对输入变化的敏感性之间会有某种权衡。

_{(顺便说一句，Pandas 或 NumPy 有用吗？)}

Answer 1

您可以像这样使用 numpy 或 pandas(“pandas 版本”):

In [256]: s = pd.Series([2, 3, 4, 5, 6, 7, 8, 9, 10, 15, 20, 25, 30, 35,
                             40, 45, 50, 55, 65, 75, 85, 86, 87, 88])

In [257]: df = pd.DataFrame({'time': s,
                             'time_diff': s.diff().shift(-1)}).set_index('time')

In [258]: df[df.time_diff - df.time_diff.shift(1) != 0].dropna()
Out[258]: 
      time_diff
time           
2             1
10            5
55           10
85            1

如果您只想查看每个时间步长的第一次出现，您还可以使用:

In [259]: df.drop_duplicates().dropna() # set take_last=True if you want the last
Out[259]: 
      time_diff
time           
2             1
10            5
55           10

但是对于 pandas，您通常会使用 DatetimeIndex 来使用内置的时间序列功能:

In [44]: a = [2, 3, 4, 5, 6, 7, 8, 9, 10, 15, 20, 25, 30, 35,
              40, 45, 50, 55, 65, 75, 85, 86, 87, 88]

In [45]: start_time = datetime.datetime.now()

In [46]: times = [start_time + datetime.timedelta(seconds=int(x)) for x in a]

In [47]: idx = pd.DatetimeIndex(times)

In [48]: df = pd.DataFrame({'data1': np.random.rand(idx.size), 
                            'data2': np.random.rand(idx.size)},
                           index=idx)

In [49]: df.resample('5S') # resample to 5 Seconds
Out[49]: 
                        data1     data2
2012-11-28 07:36:35  0.417282  0.477837
2012-11-28 07:36:40  0.536367  0.451494
2012-11-28 07:36:45  0.902018  0.457873
2012-11-28 07:36:50  0.452151  0.625526
2012-11-28 07:36:55  0.816028  0.170319
2012-11-28 07:37:00  0.169264  0.723092
2012-11-28 07:37:05  0.809279  0.794459
2012-11-28 07:37:10  0.652836  0.615056
2012-11-28 07:37:15  0.508318  0.147178
2012-11-28 07:37:20  0.261157  0.509014
2012-11-28 07:37:25  0.609685  0.324375
2012-11-28 07:37:30       NaN       NaN
2012-11-28 07:37:35  0.736370  0.551477
2012-11-28 07:37:40       NaN       NaN
2012-11-28 07:37:45  0.839960  0.118619
2012-11-28 07:37:50       NaN       NaN
2012-11-28 07:37:55  0.697292  0.394946
2012-11-28 07:38:00  0.351824  0.420454

在我看来，在处理时间序列方面，Pandas 是迄今为止 Python 生态系统中可用的最佳库。不确定您真正想做什么，但我会尝试一下 pandas。