java - 余弦相似度始终为 1.0

Question

我正在尝试构建段落 vector 并使用 Java 中的 DeepLearning4J 框架对其进行一些推理。当我将段落 vector 构建到 ZIP 文件夹中时，我可以通过使用行号来获得相似性，如下所示:

SentenceIterator sentenceIterator = new BasicLineIterator(new File(inputFilePath));
AbstractCache<VocabWord> abstractCache = new AbstractCache<VocabWord>();
TokenizerFactory tokenizerFactory = new DefaultTokenizerFactory();
tokenizerFactory.setTokenPreProcessor(new CommonPreprocessor());

LabelsSource labelsSource = new LabelsSource("LINE_");

ParagraphVectors paragraphVectors = new ParagraphVectors.Builder()
        .minWordFrequency(1)
        .iterations(5)
        .epochs(1)
        .layerSize(100)
        .learningRate(0.025)
        .labelsSource(labelsSource)
        .windowSize(5)
        .iterate(sentenceIterator)
        .trainWordVectors(false)
        .vocabCache(abstractCache)
        .tokenizerFactory(tokenizerFactory)
        .sampling(0)
         .build();
paragraphVectors.fit();

double similarity1 = paragraphVectors.similarity("LINE_9835", "LINE_100");
System.out.println("Similarity: " + similarity1);

WordVectorSerializer.writeParagraphVectors(paragraphVectors, outputParagraphVectorsFilePath);

变量inputFilePath指的是包含一些信息的文本文档。变量outputParagraphVectorsFilePath指的是磁盘上要存储 vector 的位置。该函数有效并且相似性准确。问题出现如下:

TokenizerFactory tokenizerFactory = new DefaultTokenizerFactory();
tokenizerFactory.setTokenPreProcessor(new CommonPreprocessor());

ParagraphVectors paragraphVectors = WordVectorSerializer.readParagraphVectors(new File(inputFilePath));
paragraphVectors.setTokenizerFactory(tokenizerFactory);
paragraphVectors.getConfiguration().setIterations(1);

INDArray inferredVectorA = paragraphVectors.inferVector("This is my world .");
INDArray inferredVectorA2 = paragraphVectors.inferVector("This is my world .");
INDArray inferredVectorB = paragraphVectors.inferVector("This is my way .");


System.out.println("Cosine similarity A/B:" + Transforms.cosineSim(inferredVectorA, inferredVectorB));
System.out.println("Cosine similarity A/B2:" + Transforms.cosineSim(inferredVectorA, inferredVectorA2));

inputFilePath 变量指的是包含 vector 的 ZIP 文件夹在磁盘上的位置。当我运行这个函数时，我得到以下信息:

Cosine similarity A/B:1.0
Cosine similarity A/B2:1.0

即使我改变 vector 并将它们与其他 vector 进行比较，我也会得到相同的 1.0。难道我做错了什么？任何帮助将不胜感激。

Answer 1

根据this在 GitHub 上发布的问题中，余弦相似度不准确的主要原因是 dl4j 和 nd4j 使用的版本不正确。我的项目中使用的版本是0.7.1。更新到 0.9.1 后，我能够得到准确的答案。以下是一些重要的准则:

1. 如果您要在线下载完整的项目:请务必检查外部库并确保它们是最新的。确定这一点的最佳方法是定期检查 DeepLearning4J 网站或下载可用的 GutHib 项目的新副本 here
2. 确保您使用正确的文件扩展名:升级项目后，我收到 ZIP 错误，因为段落 vector 应该位于 ZIP 文件夹中。我把它们放在一个二进制文件中