nlp - 如何通过 Gensim TaggedDocument() 正确标记文档列表

Question

我想通过 Gensim TaggedDocument() 标记文档列表，然后将这些文档作为 Doc2Vec() 的输入传递。

我已阅读有关TaggedDocument 的文档here , 但我不明白参数 words 和 tags 到底是什么。

我试过:

texts = [[word for word in document.lower().split()]
          for document in X.values]

texts = [[token for token in text]
          for text in texts]

model = gensim.models.Doc2Vec(texts, vector_size=200)
model.train(texts, total_examples=len(texts), epochs=10)

但我收到错误消息'list' object has no attribute 'words'。

Answer 1

Doc2Vec 需要一个可迭代的文本集合，每个文本(形状像)示例 TaggedDocument 类，同时包含 words 和 标记 属性。

words 可以是你的标记化文本(作为一个列表)，但是 tags 应该是一个文档标签列表，应该通过 Doc2Vec算法。大多数情况下，这些是唯一的 ID，每个文档一个。 (你可以只使用普通的 int 索引，如果它可以作为在其他地方引用你的文档的方式，或者字符串 ID。)请注意 tags 必须是一个标签列表，即使你'每个文档只提供一个。

您只是提供了一个单词列表列表，从而产生了错误。

尝试只用一行来初始化 texts:

texts = [TaggedDocument(
             words=[word for word in document.lower().split()],
             tags=[i]
         ) for i, document in enumerate(X.values)]

此外，如果您在创建 Doc2Vec 时提供了 texts，则无需调用 train()。 (通过在初始化时提供语料库，Doc2Vec 将自动进行初始词汇发现扫描，然后进行指定次数的训练。)

您应该查看工作示例以获取灵感，例如 gensim 中包含的 doc2vec-lee.ipynb 可运行的 Jupyter notebook。这将是您的安装目录，如果您能找到它，但您也可以在 gensim 源代码存储库中查看(静态的，不可运行的)版本:

https://github.com/RaRe-Technologies/gensim/blob/develop/docs/notebooks/doc2vec-lee.ipynb