python - 我必须将 Pandas DataFrame 每一行的数据与其余行的数据进行比较，有没有办法加快计算速度？

Question

假设我有一个具有这种结构的 pandas DataFrame(从 csv 文件加载)(var 和 err 列的数量不固定，并且因文件而异):

var_0; var_1; var_2;
32;    9;     41;
47;    22;    41;
15;    12;    32;
3;     4;     4;
10;    9;     41;
43;    21;    45;
32;    14;    32;
51;    20;    40;

为了这个问题，让我们丢弃 err_ds_j 和 err_mean 列。我必须对每一行的值与其他行的值进行自动比较；例如:我必须将第一行与第二行进行比较，然后与第三行进行比较，然后与第四行进行比较，依此类推，然后我必须将第二行与第一行进行比较，然后与第三行进行比较一个，DataFrame 的其余部分依此类推。

更深入地研究问题，我想看看对于每对行，其中一个的所有“var_i”值是否都高于或等于另一行的对应值。如果满足，则具有较高值的​​行称为 DOMINANT，我在另一个 DataFrame 中添加一行，具有以下结构:

SET_A; SET_B; DOMINANT_SET
0;     1;     B
...

其中 SET_A 和 SET_B 值是来自 csv DataFrame 的索引，而 DOMINANT_SET 告诉我两者中的哪一个是主导集(或者如果没有，它只是被分配为“无”)。我发现第三列很有用，因为它帮助我避免比较我已经以相反方式比较过的行(例如:比较第 1 行和第 0 行是无用的，因为我之前已经比较过 0 和 1)。

因此，对于那个 csv 文件，产生的输出应该是(实际上是，用我的代码):

   SET_A SET_B DOMINANT_SET
1      0     1            B
2      0     2         none
3      0     3            A
4      0     4            A
5      0     5            B
6      0     6         none
7      0     7         none
8      1     2            A
9      1     3            A
10     1     4            A
11     1     5         none
12     1     6            A
13     1     7         none
14     2     3            A
15     2     4         none
16     2     5            B
17     2     6            B
18     2     7            B
19     3     4            B
20     3     5            B
21     3     6            B
22     3     7            B
23     4     5            B
24     4     6         none
25     4     7         none
26     5     6            A
27     5     7         none
28     6     7            B

我已经为这个特定问题编写了所有代码，它在一些测试数据集(从实际数据集中采样的 100 行)中工作得很好。

这是相关代码的片段:

import numpy as np
import pandas as pd

def couple_already_tested(index1, index2, dataframe):
    return (((dataframe['SET_A'] == index1) & (dataframe['SET_B'] == index2)).any()) | (((dataframe['SET_A'] == index2) & (dataframe['SET_B'] == index1)).any())

def check_dominance(set_a, set_b, index_i, index_j, dataframe):
    length = dataframe.shape[0]
    if np.all(set_a >= set_b):
        print("FOUND DOMINANT CONFIGURATION A > B")
        dataframe.loc[length+1] = [index_i,index_j,'A']
    elif np.all(set_b >= set_a):
        print("FOUND DOMINANT CONFIGURATION B > A")
        dataframe.loc[length+1] = [index_i,index_j,'B']
    else:
        dataframe.loc[length+1] = [index_i,index_j,'none']

df = pd.read_csv('test.csv', sep=';')
dom_table_df = pd.DataFrame(columns=['SET_A','SET_B','DOMINANT_SET'])
df_length = df.shape[0]
var_num = df.shape[1]-1 

a = None
b = None

for i in range(0, df_length):
    a = df.iloc[i, 0:var_num].values
    for j in range(0, df_length):
        if j == i:
            continue
        b = df.iloc[j, 0:var_num].values
        if couple_already_tested(i,j,dom_table_df):
            print("WARNING: configuration", i, j, "already compared, skipping")
        else:
            print("Comparing configuration at row", i, "with configuration at row", j)
            check_dominance(a, b, i, j, dom_table_df)

print(dom_table_df)

问题是，由于对 python 和 pandas 都不是很精通(我已经学习了大约一个半月)，这段代码当然非常慢(对于 1000 到 10000 的数据集行)，因为我在我的算法中使用了迭代。我知道我可以使用称为矢量化的东西，但阅读它后我不完全确定它是否适合我的用例。

那么，我怎样才能加快计算速度呢？

Answer 1

另一个加速可以通过用 .values[] 替换 .iloc[].values 以及 .loc[] 来实现，但是对于 .loc[] 我们必须调整下标，因为 .values 采用从零开始的下标，这与我们从 1 开始的 dom_table_df 不同。索引.

dom_table_df = pd.DataFrame(index=np.arange(1, 1+(df_length**2-df_length)/2).astype('i'),
                            columns=['SET_A', 'SET_B', 'DOMINANT_SET'])
length = 0  # counter of already filled rows
for i in range(0, df_length):
    a = df.values[i, 0:var_num]
    for j in range(i+1, df_length): # we can skip the range from 0 to i
        b = df.values[j, 0:var_num]
        #print("Comparing configuration at row", i, "with configuration at row", j)
        if np.all(a >= b):
            #print("FOUND DOMINANT CONFIGURATION A > B")
            dom_table_df.values[length] = [i, j, 'A']
        elif np.all(b >= a):
            #print("FOUND DOMINANT CONFIGURATION B > A")
            dom_table_df.values[length] = [i, j, 'B']
        else:
            dom_table_df.values[length] = [i, j, 'none']
        length += 1