使用 jaccard 相似度的 Python Pandas 距离矩阵

Question

我已经实现了一个使用 jaccard 相似度构造距离矩阵的函数:

import pandas as pd
entries = [
    {'id':'1', 'category1':'100', 'category2': '0', 'category3':'100'},
    {'id':'2', 'category1':'100', 'category2': '0', 'category3':'100'},
    {'id':'3', 'category1':'0', 'category2': '100', 'category3':'100'},
    {'id':'4', 'category1':'100', 'category2': '100', 'category3':'100'},
    {'id':'5', 'category1':'100', 'category2': '0', 'category3':'100'}
           ]
df = pd.DataFrame(entries)

和scipy的距离矩阵

from scipy.spatial.distance import squareform
from scipy.spatial.distance import pdist, jaccard

res = pdist(df[['category1','category2','category3']], 'jaccard')
squareform(res)
distance = pd.DataFrame(squareform(res), index=df.index, columns= df.index)

问题是我的结果看起来像这样，这似乎是错误的:

我错过了什么？例如，0 和 1 的相似度必须最大，其他值似乎也不对

Answer 1

查看文档，jaccard 的实现在 scipy.spatial.distance 中是 jaccard 不相似性，而不是相似性。这是使用 jaccard 作为度量时计算距离的常用方法。这是因为要成为度量，相同点之间的距离必须为零。

在您的代码中，0 和 1 之间的差异应该最小化，事实确实如此。在不相似的情况下，其他值看起来也是正确的。

如果您想要相似性而不是相异性，只需从 1 中减去相异性即可。

res = 1 - pdist(df[['category1','category2','category3']], 'jaccard')