python - 有效地计算唯一元素的数量 - NumPy/Python

Question

运行 np.unique() 时，它首先展平数组，对数组进行排序，然后找到唯一值。当我有形状为 (10, 3000, 3000) 的数组时，找到唯一元素大约需要一秒钟，但这很快就会加起来，因为我需要多次调用 np.unique() 。由于我只关心数组中唯一数字的总数，因此排序似乎是在浪费时间。

有没有比 np.unique() 更快的方法来查找大型数组中唯一值的总数？

Answer 1

这是一个适用于数据类型为 np.uint8 的数组的方法，它比 np.unique 更快。​​

首先，创建一个数组来使用:

In [128]: a = np.random.randint(1, 128, size=(10, 3000, 3000)).astype(np.uint8)

为了稍后比较，使用 np.unique 查找唯一值:

In [129]: u = np.unique(a)

这是更快的方法； v 将包含结果:

In [130]: q = np.zeros(256, dtype=int)

In [131]: q[a.ravel()] = 1

In [132]: v = np.nonzero(q)[0]

验证我们得到了相同的结果:

In [133]: np.array_equal(u, v)
Out[133]: True

时间:

In [134]: %timeit u = np.unique(a)
2.86 s ± 9.02 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [135]: %timeit q = np.zeros(256, dtype=int); q[a.ravel()] = 1; v = np.nonzero(q)
300 ms ± 5.52 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

np.unique() 为 2.86 秒，替代方法为 0.3 秒。