python - 在 Dask 数组上使用 scikit-learn cosine_similarity - python

Question

我有 Dask 来处理无法放入内存的大量向量，并使用 scikit-learn cosine_similarity 来计算这些向量之间的余弦相似度，即:

import dask.array as da
from sklearn.metrics.pairwise import cosine_similarity
vectors = da.from_array(vectors, 10000)
sims_mat = cosine_similarity(vectors)

工作正常，但我不确定以这种方式使用 Dask 是否有任何好处，或者我应该为 dask 数组寻找余弦相似函数

Answer 1

在我看来这应该没问题，因为如果你检查 dask 和 sklearn 的文档，你会发现两者都是构建在顶部 numpy，它使用并行处理。

如果您确实只想使用 dask，您可以查看此存储库: https://pypi.python.org/pypi/dask-distance

它包括余弦相似度函数。