python - 使用 NumPy 加速数组间隔比较

Question

我在某个时间间隔内获取了大量数据点，并且我尝试通过查看这两个时间间隔之间的重叠来计算不同时间间隔内这些数据的加权平均值。我有一个成功的方法，如下所述，但速度相当慢。我正在寻找有关如何使其运行得更快的任何建议。

我有两组时间间隔以及与其中一组时间间隔相关的数据点。我需要确定第一个时间间隔中的哪些数据点落入第二个时间间隔。例如，如果以下是我的数组:

start1 = np.array([1.,6.,11.,16.,21.,26.,31.,36.])
stop1 = np.array([6.,11.,16.,21.,26,31.,36.,41.])
start2 = np.array([1.,2.,3.,4.,5.,6.,7.,8.,9.,10.,11.,12.,13.,14.,15.,16.,17.,...,39.])
stop2 = np.array([2.,3.,4.,5.,6.,7.,8.,9.,10.,11.,12.,13.,14.,15.,16.,17.,18.,...,40.])
data1 = np.array([2.,4.,3.,8.,4.,7.,2.,6.])

那么我的结果将是:

[array([ 2.]), array([ 2.]), array([ 2.]), array([ 2.]), array([ 2.,  4.]), array([ 2.,  4.]), array([ 4.]), array([ 4.]), array([ 4.]), array([ 4.,  3.]), array([ 4.,  3.]), array([ 3.]), array([ 3.]), array([ 3.]), array([ 3.,  8.]), array([ 3.,  8.]), array([ 8.]), array([ 8.]), array([ 8.]), array([ 8.,  4.]), array([ 8.,  4.]), array([ 4.]), array([ 4.]), array([ 4.]), array([ 4.,  7.]), array([ 4.,  7.]), array([ 7.]), array([ 7.]), array([ 7.]), array([ 7.,  2.]), array([ 7.,  2.]), array([ 2.]), array([ 2.]), array([ 2.]), array([ 2.,  6.]), array([ 2.,  6.]), array([ 6.]), array([ 6.]), array([ 6.])]

这是我目前正在使用的方法:

intervals_data = []
for i in range(0, len(start2)):
    intervals_data.append(data1[((stop1>=start2[i]) & (start1<=stop2[i]))])

我遇到的问题是这些数组通常包含 25,000 个元素，因此每个数据集大约需要 20 秒。我通常有几百个数据集，因此最终需要大约一个小时才能运行。

有人可以指出我更快的方法吗？谢谢!

Answer 1

想法是使用二分查找来查找最左边的索引 i对于每个条目 start2[j]在stop1这样插入就会保留 stop1已排序，即 start2[j] <= stop1[i] 。同样，我们正在寻找最合适的i对于每个 stop2[j]在start1 ，即stop2[j] >= stop1[i] 。这可以通过以下方式实现:

start_indx = stop1.searchsorted(start2, "left")
end_indx = start1.searchsorted(stop2, "right")
result = [data1[start_indx[i]:end_indx[i]]for i in range(len(start_indx))]