python - 数组之间的交集索引

Question

有没有一种快速的方法可以将数组的每个元素与唯一标识符列表中的每个元素进行比较？

使用 for 循环遍历每个唯一值是可行的，但速度太慢而无法使用。我一直在寻找矢量化解决方案，但没有成功。任何帮助将不胜感激!

arrStart = []
startRavel = startInforce['pol_id'].ravel()
for policy in unique_policies:
    arrStart.append(np.argwhere(startRavel == policy))

示例输入:

startRavel = [1,2,2,2,3,3]

unique_policies = [1,2,3]

示例输出:

arrStart = [[0], [1,2,3],[4,5]]

新数组的长度与唯一值数组的长度相同，但每个元素都是与大数组中的唯一值匹配的所有行的列表。

Answer 1

这是一个矢量化的解决方案:

import numpy as np
startRavel = np.array([1,2,2,2,3,3])
unique_policies = np.array([1,2,3])

使用 np.argsort 对 startRavel 进行排序.

ix = np.argsort(startRavel)
s_startRavel = startRavel[ix]

使用np.searchsorted找到 unique_policies 应该插入到 startRavel 中的索引以保持顺序:

s_ix = np.searchsorted(s_startRavel, unique_policies)
# array([0, 1, 4])

然后使用np.split使用获得的索引拆分数组。 np.argsort在 s_ix 上再次使用来处理未排序的输入:

ix_r = np.argsort(s_ix)
ixs = np.split(ix, s_ix[ix_r][1:])
np.array(ixs)[ix_r]
# [array([0]), array([1, 2, 3]), array([4, 5])]

---

一般解决方案:

让我们把它全部封装在一个函数中:

def ix_intersection(x, y):
    """
    Finds the indices where each unique
    value in x is found in y.
    Both x and y must be numpy arrays.
    ----------
    x: np.array
       Must contain unique values. 
       Values in x are assumed to be in y.
    y: np.array

    Returns
    -------
    Array of arrays. Each array contains the indices where a
    value in x is found in y
    """
    ix_y = np.argsort(y)
    s = np.searchsorted(y[ix_y], x)
    ix_r = np.argsort(s)
    ixs = np.split(ix_y, s[ix_r][1:])
    return np.array(ixs)[ix_r]

---

其他例子

让我们尝试使用以下数组:

startRavel = np.array([1,3,3,2,2,2])
unique_policies = np.array([1,2,3])

ix_intersection(unique_policies, startRavel)
# array([array([0]), array([3, 4, 5]), array([1, 2])])

另一个例子，这次是未排序的输入:

startRavel = np.array([1,3,3,2,2,2,5])
unique_policies = np.array([1,2,5,3])

ix_intersection(unique_policies, startRavel)
# array([array([0]), array([3, 4, 5]), array([6]), array([1, 2])])