python - 在 pandas 数据框(和)列表上使用 scipy pdist

Question

我又遇到了一个奇怪的问题。

假设我有以下虚拟数据框(通过演示我的问题):

import numpy as np
import pandas as pd
import string

# Test data frame
N = 3
col_ids = string.letters[:N]
df = pd.DataFrame(
    np.random.randn(5, 3*N), 
    columns=['{}_{}'.format(letter, coord) for letter in col_ids for coord in list('xyz')])

df

这会产生:

     A_x         A_y         A_z         B_x         B_y         B_z         C_x         C_y         C_z
0   -1.339040    0.185817    0.083120    0.498545   -0.569518    0.580264    0.453234    1.336992   -0.346724
1   -0.938575    0.367866    1.084475    1.497117    0.349927   -0.726140   -0.870142   -0.371153   -0.881763
2   -0.346819   -1.689058   -0.475032   -0.625383   -0.890025    0.929955    0.683413    0.819212    0.102625
3    0.359540   -0.125700   -0.900680   -0.403000    2.655242   -0.607996    1.117012   -0.905600    0.671239
4    1.624630   -1.036742    0.538341   -0.682000    0.542178   -0.001380   -1.126426    0.756532   -0.701805

现在我想在这个 pandas 数据框上使用 scipy.spatial.distance.pdist。事实证明这是一个相当重要的过程。 pdist 所做的是使用欧氏距离(2-范数)作为点之间的距离度量来计算 m 个点之间的距离。这些点在矩阵 X ( source ) 中排列为 m 个 n 维行向量。

因此，要创建一个对 pandas 数据框进行操作的函数，需要做几件事，这样才能使用 pdist 函数。您会注意到，当点数变得非常大时，pdist 很方便。我已经尝试制作自己的，它适用于单行数据框，但我无法让它在理想情况下立即在整个数据框上工作。

这是我的尝试:

from scipy.spatial.distance import pdist, squareform
import numpy as np
import pandas as pd
import string

def Euclidean_distance(df):
    EcDist = pd.DataFrame(index=df.index) # results container
    arr = df.values # Store data frame values into a numpy array
    tag_list =  [num for elem in arr for num in elem] # flatten numpy array into single list
    tag_list_3D = zip(*[iter(tag_list)]*3) # separate list into length = 3 sub-lists, that pdist() can work with
    EcDist = pdist(tag_list_3D) # the distance between m points using Euclidean distance (2-norm)
    return EcDist

首先，我开始以 pandas 形式创建一个结果容器，以存储结果。其次，我将 pandas 数据框保存为一个 numpy 数组，以便在下一步中将其转换为列表形式。它必须是列表形式，因为 pdist 函数只对列表进行操作。将数据框保存到数组中时，它会将其存储为列表中的列表。这必须被展平，保存在“tag_list”变量中。第三，将tag_list进一步缩减为长度为3的子列表，这样就可以得到每个点的x、y、z坐标，可以用来求所有这些点之间的欧氏距离(在这个例子中有三个点:A、B 和 C 每个都是三维的)。

如前所述，如果数据框是单行，则该函数有效，但在给定示例中使用该函数时，它会计算 5x3 点的欧氏距离，总共产生 105 个距离。我想要它做的是计算每行的距离(因此 pdist 应该一次只能在 1x3 向量上工作)。对于这个例子，我的最终结果看起来像这样:

   dist_1    dist_2    dist_3
0  0.807271  0.142495  1.759969
1  0.180112  0.641855  0.257957
2  0.196950  1.334812  0.638719
3  0.145780  0.384268  0.577387
4  0.044030  0.735428  0.549897

(这些只是显示所需形状的虚拟数字)

因此，如何让我的函数以行方式应用于数据框？或者更好的是，我怎样才能让它一次对整个数据框执行该功能，然后将结果存储在一个新的数据框中？

任何帮助将不胜感激。谢谢。

Answer 1

如果我没理解错的话，你有“组”点。在您的示例中，每个组都有三个点，您称之为 A、B 和 C。A 由三列 A_x、A_y、A_z 表示，B 和 C 也是如此。

我建议您将“宽型”数据重组为“长型”数据，其中每行仅包含一个 点。然后每行将只有三 列用于坐标，然后您将添加一个额外的列来表示一个点所在的组。这是一个示例:

>>> d = pandas.DataFrame(np.random.randn(12, 3), columns=["X", "Y", "Z"])
>>> d["Group"] = np.repeat([1, 2, 3, 4], 3)
>>> d
           X         Y         Z  Group
0  -0.280505  0.888417 -0.936790      1
1   0.823741 -0.428267  1.483763      1
2  -0.465326  0.005103 -1.107431      1
3  -1.009077 -1.618600 -0.443975      2
4   0.535634  0.562617  1.165269      2
5   1.544621 -0.858873 -0.349492      2
6   0.839795  0.720828 -0.973234      3
7  -2.273654  0.125304  0.469443      3
8  -0.179703  0.962098 -0.179542      3
9  -0.390777 -0.715896 -0.897837      4
10 -0.030338  0.746647  0.250173      4
11 -1.886581  0.643817 -2.658379      4

Group==1的三个点分别对应你第一行的A、B、C； Group==2 的三个点对应于第二行中的 A、B 和 C；等

有了这个结构，使用pdist 计算成对的距离就变得简单了:

>>> d.groupby('Group')[["X", "Y", "Z"]].apply(lambda g: pandas.Series(distance.pdist(g), index=["D1", "D2", "D3"]))
             D1        D2        D3
Group                              
1      2.968517  0.918435  2.926395
2      3.119856  2.665986  2.309370
3      3.482747  1.314357  2.346495
4      1.893904  2.680627  3.451939

可以用您现有的设置做类似的事情，但会更笨拙。您设置方式的问题在于您以难以提取的方式对关键信息进行了编码。在您的设置中，有关哪些列是 X 坐标，哪些列是 Y 或 Z 坐标的信息，以及有关哪些列是指点 A 与点 B 或 C 的信息，都编码在文本名称中的列。作为人类，您只需查看它们就可以知道哪些列是 X 值，但是以编程方式指定需要解析列的字符串名称。

您可以从如何使用 '{}_{}'.format(letter, coord) 业务创建列名称中看出这一点。这意味着，为了在您的数据上使用 pdist，您必须执行将列名称解析为字符串的反向操作，以便决定比较哪些列。不用说，这会很尴尬。另一方面，如果将数据放入“长”形式，则没有这样的困难:所有点的 X 坐标都排在一个列中，同样对于 Y 和 Z，以及有关要比较哪些点的信息也包含在一个列(“组”列)中。

当您想对数据子集进行大规模操作时，通常最好将数据拆分到单独的行中。这允许您利用 groupby 的强大功能，并且通常也是 scipy 工具所期望的。