python - 使用 Pandas 和 Numpy 按 ID 索引查找比率的计算时间很长

Question

我目前正在制作一个包含对的比率的表格，并应用了某种最小最大标量逻辑。但是，我的代码经历了非常长且昂贵的时间复杂性；很大的原因之一是数据的大小。但是，我正在寻找更高效的代码来做同样的事情。
这是我编写的代码，将解释我在代码中所做的事情。

import pandas as pd
import numpy as np
import itertools

indexColumn = 'id'
limit_ratio = 0.6

result_data = pd.DataFrame([['id1', 1], ['id2', 1], ['id3', 1], ['id1', 2], ['id3', 2], ['id1', 4], ['id2', 4], ['id1', 5], ['id2', 5], ['id1', 6], ['id5', 6], ['id5', 7], ['id6', 7]], columns=['id', 'labels'])

result_data = result_data.groupby('labels')[indexColumn].apply(lambda x: list(itertools.combinations(x, 2))).reset_index()
result_data = result_data.explode(indexColumn)
result_data = result_data.groupby(indexColumn)['labels'].agg('count').rename('count').reset_index()

result_data[['id1', 'id2']] = pd.DataFrame(result_data[indexColumn].tolist(),index=result_data.index)

此时， result_data好像


ID
数数
编号1
编号2


(id1,id2)
3
编号1
编号2

(id1,id3)
2
编号1
编号3

(id1,id5)
1
编号1
编号5

(id2,id3)
1
编号2
编号3

(id5,id6)
1
编号5
编号6


基本上，上面的代码计算一对具有的相同标签的数量。
例如， id1和 id2有标签 1 的数据。然后，计数将增加 1。
(特别要感谢Joseph Fernandez，他过去帮我完成了上面的代码)

result_data['ratio'] = result_data['count'] / float(result_data['count'].max())
result_data = result_data.sort_values(by='ratio', ascending=False)

然后， result_data是


ID
数数
编号1
编号2
比率


(id1,id2)
3
编号1
编号2
1.000

(id1,id3)
2
编号1
编号3
0.667

(id1,id5)
1
编号1
编号5
0.333

(id2,id3)
1
编号2
编号3
0.333

(id5,id6)
1
编号5
编号6
0.333


对于 ratio在这里，我计算

(id1, id2) = 3/max(count) = 3/3 = 1

(id1, id3) = 2/max(count) = 2/3 = 0.667

(id1, id5) = 1/max(count) = 1/3 = 0.333

这是解释代码的简单数据版本，但我实际上有 result_data此时有 1.2 亿行。以下代码是我在指数计算时间方面遇到的问题，因为它的大小。

if limit_ratio is not None:
    result_data[['ratio1', 'ratio2']] = np.NaN
    idlist = np.unique(result_data[['id1', 'id2']])
    for id in idlist:
        tmp = result_data[(result_data['id1'] == id) | (result_data['id2'] == id)][['id1', 'id2', 'count', 'ratio']]
        tmp['ratio1'] = tmp['count'] / float(tmp['count'].max())
        tmp['ratio2'] = tmp['ratio1']
        tmp.loc[tmp['id1'] == id, ['ratio2']] = np.NaN
        tmp.loc[tmp['id2'] == id, ['ratio1']] = np.NaN
        tmp = tmp[['id1', 'id2', 'ratio1', 'ratio2']]
        result_data = pd.merge(result_data, tmp, how='outer', on=['id1', 'id2'])
        result_data['ratio1'] = result_data['ratio1_x'].where(result_data['ratio1_x'].notna(), result_data['ratio1_y'])
        result_data['ratio2'] = result_data['ratio2_x'].where(result_data['ratio2_x'].notna(), result_data['ratio2_y'])
        result_data = result_data[['id1', 'id2', 'count', 'ratio', 'ratio1', 'ratio2']]

那么，结果将是


编号1
编号2
数数
比率
比率1
比率2


编号1
编号2
3
1.000
1.000
1.0

编号1
编号3
2
0.667
0.667
1.0

编号1
编号5
1
0.333
0.333
1.0

编号2
编号3
1
0.333
0.333
0.5

编号5
编号6
1
0.333
1.000
1.0


要详细解释 ratio1 和 ratio2， ratio1计算公式为

(id1,id2) 计数/最大值 (id1_count) = 3/3 = 1

(id1,id3) 计数/最大值 (id1_count) = 2/3 = 0.667

(id1,id5) 计数/最大值 (id1_count) = 1/3 = 0.333

(id2,id3) 计数/最大值 (id2_count) = 1/3 = 0.333

(id5,id6) 计数/最大值 (id5_count) = 1/1 = 1

ratio2计算公式为

(id1,id2) 计数/最大值 (id2_count) = 3/3 = 1

(id1,id3) 计数/最大值 (id3_count) = 2/2 = 1

(id1,id5) 计数/最大值 (id5_count) = 1/1 = 1

(id2,id3) 计数/最大值 (id3_count) = 1/2 = 0.5

(id5,id6) 计数/最大值 (id6_count) = 1/1 = 1

毕竟，我们的最终目标是过滤掉带有 threshold 的行。 .

result_data = result_data[(result_data['ratio1'] >= float(limit_ratio)) | (result_data['ratio2'] >= float(limit_ratio))]

这会给我


编号1
编号2
数数
比率
比率1
比率2


编号1
编号2
3
1.000
1.000
1.0

编号1
编号3
2
0.667
0.667
1.0

编号1
编号5
1
0.333
0.333
1.0

编号5
编号6
1
0.333
1.000
1.0


在这里，代码每个循环需要 12 分钟。该数据有 50,000 个唯一 ID，预计计算 12 * 50000 = 60,000 分钟 = 10,000 小时。供您引用，我目前使用的是 python 3.8.8、pandas == 1.2.3 和 numpy == 1.19.5。

Answer 1

设置

>>> result_data

           id  count  id1  id2     ratio
0  (id1, id2)      3  id1  id2  1.000000
1  (id1, id3)      2  id1  id3  0.666667
2  (id1, id5)      1  id1  id5  0.333333
3  (id2, id3)      1  id2  id3  0.333333
4  (id5, id6)      1  id5  id6  0.333333

解决方案

melted = result_data.melt('count', ['id1', 'id2'])
maxima = melted.groupby('value')['count'].max()

result_data['ratio1'] = result_data['count'] / result_data['id1'].map(maxima)
result_data['ratio2'] = result_data['count'] / result_data['id2'].map(maxima)

result_data = result_data.query("ratio1 >= @limit_ratio or ratio2 >= @limit_ratio")

说明
Melt 通过指定 id_vars 来获取数据框如 count和 value_vars如 id1, id2

>>> melted

   count variable value
0      3      id1   id1
1      2      id1   id1
2      1      id1   id1
3      1      id1   id2
4      1      id1   id5
5      3      id2   id2
6      2      id2   id3
7      1      id2   id5
8      1      id2   id3
9      1      id2   id6

现在 group melted数据框来自 value列和聚合 count使用 max计算 maximum每 id 的计数值

>>> maxima

value
id1    3
id2    3
id3    2
id5    1
id6    1
Name: count, dtype: int64

map 计算出的 maxima在列 id1和 id2

>>> result_data['id1'].map(maxima)

0    3
1    3
2    3
3    3
4    1
Name: id1, dtype: int64

>>> result_data['id1'].map(maxima)

0    3
1    2
2    1
3    2
4    1
Name: id2, dtype: int64

现在划分 count上面映射的列 id1和 id2列分别计算 ratio1和 ratio2

>>> result_data[['ratio1', 'ratio2']]

     ratio1  ratio2
0  1.000000     1.0
1  0.666667     1.0
2  0.333333     1.0
3  0.333333     0.5
4  1.000000     1.0

Query 根据给定的 threshold 过滤掉行的数据框值在 limit_ratio

>>> result_data

           id  count  id1  id2     ratio    ratio1  ratio2
0  (id1, id2)      3  id1  id2  1.000000  1.000000     1.0
1  (id1, id3)      2  id1  id3  0.666667  0.666667     1.0
2  (id1, id5)      1  id1  id5  0.333333  0.333333     1.0
4  (id5, id6)      1  id5  id6  0.333333  1.000000     1.0