python - 从 bool numpy数组计算每行与其他行的相交列数

Question

我编写了一个简短的程序来从数据库中提取关联规则。但是，现在我想比较提取的规则并计算每个规则的相交属性的数量。规则条件用 bool 型 numpy 数组表示，其中每一行都可以视为一个关联规则的前因。 bool 数组的列代表属性，这些属性可能出现在规则的前件中。 (“真”表示该属性存在于规则中)。
示例输入数组:

encoded_rules = np.array([[True,True,False,False,True],
                         [False,False,True,False,False],
                         [True,True,False,True,True],
                         [False,True,False,False,False]])

所需的输出数组:

[[3 0 3 1]
[0 1 0 0]
[3 0 4 1]
[1 0 1 1]]

正如您所看到的，索引 0 处的规则有 3 个属性，与索引 2 处的规则(有 4 个属性)相交的属性数为 3。为了实现这个目标，我尝试了多种方法，但我无法弄清楚如何以有效的矢量化方式做到这一点。我当前的解决方案是一个 for 循环，我在其中使用下限和上限逐步创建输出数组。通过计算属性出现的次数来计算下限和上限。:

encoded_rules = np.array([[True,True,False,False,True],
                         [False,False,True,False,False],
                         [True,True,False,True,True],
                         [False,True,False,False,False]])

rule_count = encoded_rules.shape[0]
rules, attributes = encoded_rules.nonzero()

#empty output array, which gets filled in the for-loop:
rule_mat = np.zeros((rule_count, rule_count), dtype="int")

sort_inds = attributes.argsort()
rules, attributes = rules[sort_inds], attributes[sort_inds]


unique_attributes, counts = np.unique(attributes, return_counts=True)
lower_bound = 0
upper_bound = 0

for attribute in unique_attributes:
    upper_bound += counts[attribute]
    intersecting_rules = rules[lower_bound:upper_bound]
    rule_mat[intersecting_rules[:,None], intersecting_rules] +=1
    lower_bound += counts[attribute]

print(rule_mat)

我正在处理一个相当大的数组(包含编码规则的数组的维度为 ~ 18.000 行 x 42 列，平均每行有 5-6 列，其值计算为“真”)所以在我的系统上过程大约需要 4 秒钟。 (每次迭代几乎 0.1 秒)。根据数据，阵列甚至可以变得更大。
我现在想要实现的是摆脱 for 循环。因此我开发了下面的矢量化代码。不幸的是，对于大数组，这种方法比使用 for 循环慢约 25 倍。矢量化版本的基本思想是计算每个规则的逻辑与，然后对列求和:

encoded_rules = np.array([[True,True,False,False,True],
                         [False,False,True,False,False],
                         [True,True,False,True,True],
                         [False,True,False,False,False]])

rule_count = encoded_rules.shape[0]
encoded_rules_3d = np.stack([encoded_rules]*rule_count, axis=0)
rule_mat = encoded_rules_3d & encoded_rules[:,None]
rule_mat = rule_mat.sum(axis=2)

print(rule_mat)

有人知道加速矢量化计算吗？

Answer 1

您可以使用简单的线性代数来实现这一点。
想象一下，每个 True是 1和每个 False是 0所以乘以这个整数矩阵 a通过其转置 a.T会给你你想要的。
当然，numpy 是矢量化的。

import numpy as np

a = np.array([[True, True, False, False, True],
              [False, False, True, False, False],
              [True, True, False, True, True],
              [False, True, False, False, False]])

a_int = a.astype(int)
print(a_int @ a_int.T)

[[3 0 3 1]
 [0 1 0 0]
 [3 0 4 1]
 [1 0 1 1]]