- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我在 df 中有三个文档:
id author document
12X john the cat sat
12Y jane the dog ran
12Z jane the hippo ate
这些文档被转换为 TaggedDocuments
语料库,其中标签是语义上无意义的整数的典型做法:
def read_corpus(documents):
for i, plot in enumerate(documents):
yield gensim.models.doc2vec.TaggedDocument(gensim.utils.simple_preprocess(plot, max_len=30), [i])
train_corpus = list(read_corpus(df.document))
然后使用该语料库来训练我的 Doc2Vec
模型:
model = gensim.models.doc2vec.Doc2Vec(vector_size=50, min_count=2, epochs=55)
model.build_vocab(train_corpus)
model.train(train_corpus, total_examples=model.corpus_count, epochs=model.epochs)
模型的结果向量可以这样访问:
model.docvecs.vectors_docs
如何将原始 df 与结果向量联系起来?现在所有文档都已经过训练并且每个文档都已识别出向量,我想按作者查询向量集。例如,如果我只想返回 Jane 的一组向量,我该怎么做?
我认为基本思想是识别与 Jane 相对应的 int 标签,然后执行以下操作来访问它们:
from operator import itemgetter
a = model.docvecs.vectors_docs
b = [1, 2]
itemgetter(*b)(a)
我如何识别标签?它们仅对模型和标记文档有意义,因此它们不会连接回我的原始 df。
最佳答案
我使用 Gensim 尝试了一个简单的示例。我认为这里的方法应该适合你
import gensim
training_sentences = ['This is some document from Author {}'.format(i) for i in range(1,10)]
def read_corpus():
for i,line in enumerate(training_sentences):
# lets use the tag to identify the document and author
yield gensim.models.doc2vec.TaggedDocument(gensim.utils.simple_preprocess(line), ['Doc{}_Author{}'.format(i,i)])
您也可以直接从 pandas_df 准备训练语料库,如下所示
data_df = pd.DataFrame({'doc':training_sentences,'doc_id':[i for i in range (1,10)],'author_id':[10+i for i in range (1,10)]})
data_df.head()
tagged_docs = data_df.apply(lambda x:gensim.models.doc2vec.TaggedDocument(gensim.utils.simple_preprocess(x.doc),['doc{}_auth{}'.format(x.doc_id,x.author_id)]),axis=1)
training_corpus = tagged_docs.values
>> array([ TaggedDocument(words=['this', 'is', 'some', 'document', 'from', 'author'], tags=['doc1_auth11']),
TaggedDocument(words=['this', 'is', 'some', 'document', 'from', 'author'], tags=['doc2_auth12']),
# training
model = gensim.models.doc2vec.Doc2Vec(vector_size=50, min_count=2, epochs=55)
train_corpus = list(read_corpus())
model.build_vocab(train_corpus)
model.train(train_corpus, total_examples=model.corpus_count, epochs=model.epochs)
# indexing
model.docvecs.index2entity
>>
['Doc0_Author0',
'Doc1_Author1',
'Doc2_Author2',
'Doc3_Author3',
'Doc4_Author4',
'Doc5_Author5',
'Doc6_Author6',
'Doc7_Author7',
'Doc8_Author8']
现在,要访问author1的document1对应的向量,你可以这样做
model.docvecs[model.docvecs.index2entity.index('Doc1_Author1')]
array([ 8.08026362e-03, 4.27437993e-03, -7.73820514e-03,
-7.40669528e-03, 6.36066869e-03, 4.03292105e-03,
9.60215740e-03, -4.26750770e-03, -1.34797185e-03,
-9.02472902e-03, 6.25275355e-03, -2.49505695e-03,
3.18572600e-03, 2.56929174e-03, -4.17032139e-03,
-2.33384431e-03, -5.10744564e-03, -5.29057207e-03,
5.41675789e-03, 5.83767192e-03, -5.91145828e-03,
5.91885624e-03, -1.00465110e-02, 8.32535885e-03,
9.72494949e-03, -7.35746371e-03, -1.86231872e-03,
8.94813929e-05, -4.11528209e-03, -9.72509012e-03,
-6.52212929e-03, -8.83922912e-03, 9.46981460e-03,
-3.90578934e-04, 6.74136635e-03, -5.24599617e-03,
9.73031297e-03, -8.77021812e-03, -5.55411633e-03,
-7.21857697e-03, -4.50362219e-03, -4.06361837e-03,
2.57276138e-03, 1.76626759e-06, -8.08755495e-03,
-1.48400548e-03, -5.26673114e-03, -7.78301107e-03,
-4.24248137e-04, -7.99000356e-03], dtype=float32)
是的,这使用了文档-作者对排序,您可以单独使用 doc_id 并在 python 字典中维护一个单独的索引,例如 {doc_id:author_id}
,如果您想按作者过滤,则使用{author_id : [docids,...]}
关于python - Gensim Doc2Vec 按文档作者访问向量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48953871/
我有一个 .sln 文件,里面有几个项目。为了简单起见,让我们称它们为... 项目A 项目B 项目C ...其中 A 是引用 B 和 C 的主要项目。我的目标是更新我的构建脚本,为 ProjectA
我安装了 Magento,我想知道如何生成完整的 API 文档,例如 http://docs.magentocommerce.com/ 上的文档是使用 phpdoc 生成的。 Magento 中是否包
我通常使用jetbrains family ide。在为函数创建文档时非常有用,只需输入 /** 如何在创建文档时创建自定义标签,例如@date标签。 最佳答案 JavaScript、Java: st
我正在尝试使用 jOpenDocument library创建文档。我已经执行了创建电子表格的示例 - 代码编译并运行正常,但当我尝试使用 Excel Office 2012 或 Google Doc
如标题。 有没有介绍HTML DOM构造的图片? 最佳答案 DOM(文档 对象模型)从文档 节点开始。它被称为“根节点”。 观察下面的树(括号中对应的nodeType): [HTMLDocument]
我喜欢 ColdFusion Builder。但我不喜欢帮助只有 CF9 文档。有什么方法可以将其更改为拥有 ColdFusion 8 文档? 最佳答案 http://livedocs.adobe.c
这个问题在这里已经有了答案: What is the consequence of this bit of javascript? (4 个答案) 关闭 9 年前。 我看到一些 jQuery 脚本嵌
我有一个 XML 文件,其中包含需要在 Word 文档中填充的数据。 我需要找到一种方法来定义一个模板,该模板可用作从 XML 文件填充数据并创建输出文档的基线。 我相信有两种方法可以做到这一点。 创
我正在尝试查找有关如何使用 AVAudioEngine 的详细文档。有谁知道我在哪里可以找到它? 我找到了这个,但与文档丰富的 UI 内容相比,它似乎非常简陋。 https://developer.a
我对 Tensorflow 文档越来越感到恼火和沮丧。我在谷歌上搜索了有关 的文档 tf.reshape 我被定向到一个通用页面,例如 here 。我想查看 tf.reshape 的详细信息,而不是整
我正在学习本教程:http://moxleystratton.com/clojure/clojure-tutorial-for-the-non-lisp-programmer 然后遇到了这个片段: u
如何在 swagger 中为对象数组编写文档。这是我的代码,但我不知道如何访问对象数组中的数据。 { "first_name":"Sam", "last_name":"Smith",
是否有针对 Javascript 的 JavaDocs 之类的东西?当我在 netbeans IDE 中按 ctrl+space 时 写javascript,指定对象的javascript文档就出来了
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题,以便用事实和引用来回答。 关闭 5 年前。
我需要 JavaScript 中的 heredoc 之类的东西。你对此有什么想法吗?我需要跨浏览器功能。 我发现了这个: heredoc = '\ \ \ zzz\ \
WSDL 文档是包含一系列的,可描述某个 web service 的定义的,简单的 XML 文档 WSDL 文档结构 WSDL 文档用下表这些主要的元素来描述某个 web service 的
是否有 ocropus 的文档? 我正在寻找对以下功能的解释: make_SegmentPageByRAST(): segment() RegionExtractor(): setPageLines(
这个问题在这里已经有了答案: Understanding events and event handlers in C# (13 个回答) 4年前关闭。 我正在使用 NRECO 和 ffmpeg 对视
我正在尝试访问工作服务器以与名为 Spotfire 的应用程序一起使用。我的同事把这个传给我,现在已经休息了几个星期,我对他的建议有意见。 实际上,当我通过 localhost 运行我的 Web 应用
Elm 文档没有给出示例用法,因此很难理解类型规范的含义。在几个地方,我看到“a”用作参数标识符,例如 Platform.Cmd : map : (a -> msg) -> Cmd a -> Cmd
我是一名优秀的程序员,十分优秀!