个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我将使用apache hadoop进行wikipedia数据集的页面排名和反向索引项目。我下载了整个wiki dump-http://download.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2，将其解压缩为单个42 Gb .xml文件。我想以某种方式处理此文件，以获取适合在pagerank和反向索引map-reduce算法中输入的数据。请帮忙!任何线索都将有所帮助。
最佳答案
您需要编写自己的Inputformat来处理XML。您还需要实现一个RecordReader，以确保您的输入拆分具有完全形成的XML块，而不仅仅是一行。参见http://www.undercloud.org/?p=408。
关于hadoop - 在Hadoop中使用Wikipedia数据集进行pagerank，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17432372/
25
4
0
我正在尝试在维基百科上找到所有图像的完整列表，然后我可以将其过滤到公共(public)领域的图像。我已经从这里下载了 SQL 转储: http://dumps.wikimedia.org/enwiki
我正在学习使用 rasa 语言。为了使目标的答案多样化，我决定使用 Wikipedia api。为了创建我的工作环境，我使用带有以下命令的 anaconda: conda create --name
本页:http://wikidata.dbpedia.org/downloads/20160111/ 有一个名为 wikidatawiki-20160111-page-ids.ttl.bz2 的转储
这个问题已经有答案了: How to get the Infobox data from Wikipedia? (8 个回答) 已关闭 3 年前。 维基百科文章可能有信息框模板。通过以下调用，我可以获
我正在使用 Wikipedia API，在其中获取我输入的某些字符串的图像。 它总是返回 10 个结果，但我想要超过大约 50 个。 https://en.wikipedia.org/w/api.ph
我需要从 jquery(首选)或 php 数组中的特定维基百科文章获取“外部链接”链接。我已经浏览了维基百科 api，但似乎没有办法做到这一点。看起来 dbpedia 有一种方法可以做到这一点(dbp
我想在 python 程序中访问给定文章标题的维基百科信息框图像。有人可以告诉我如何获得吗？ 以下截图提供了页面中所有图像的列表。我只想访问信息框图像。我该怎么做？ import wikipedia
给定维基百科上的任何页面，例如 Coffee 的页面，我试图弄清楚如何提取页面上所有引用(包括任何元数据)的列表。乍一看，这似乎很容易，因为大多数页面都将它们全部列在称为“引用”的部分下。但是，当您检
我想计算特定语言的 wiki 转储中的实体/类别，比如英语。对于初学者来说，很难找到/遵循官方文档。到目前为止我所了解的是我可以下载一个 XML 转储(我从所有可用的不同文件中下载什么)，并解析它(？
是否有任何 API 可以使用该页面的标题或页面 ID 或 url 获取页面的所有类别？我尝试在网上搜索，但我能找到的只是获取特定类别的转储。任何形式的帮助将不胜感激。 谢谢 最佳答案 您正在寻找的 A
Closed. This question is off-topic。它当前不接受答案。 想要改善这个问题吗？ Update the question，所以它是用于堆栈溢出的on-topic。 9年前
我正在尝试构建维基百科文章及其类别的树形图。我需要做什么？ 从这个站点(http://dumps.wikimedia.org/enwiki/latest/)，我下载了: enwiki-latest-p
我使用 Wikipedia API 检索给定类别的页面列表。然而，页面由它们的 page_id 表示。如何使用 Wikipedia API 通过 page_id 获取页面的实际文本内容 最佳答案 AF
Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。 想要改善这个问题吗？更新问题，以便将其作为on-topi
以这个Freebase查询为例，如何使用Wikidata API运行相同的查询？ [{ "id": null, "name": null, "type": "/film/film",
有没有一种方法可以使用 MediaWiki API 或任何其他工具自动检索使用大概日期的维基百科文章的先前版本(不知道 'oldid' 值)？ 例如，我如何检索 history version of
从Wikipedia获取有关人员的所有文章的最简单方法是什么？我知道我可以下载所有页面的转储，但是然后如何过滤这些页面并仅获取有关人员的页面？我需要尽可能多的东西（最好超过一百万），因此使用任何一种A
有这个花哨的infobox在 中。如何获得 的值？ 最佳答案 错误的方法:尝试解析 HTML Use (cURL/jQuery/file_get_contents/requests/wget/mor
我需要检索某个 wiki 项目的所有现有语言的列表。例如，所有 Wikivoyage或全部Wikipedia语言，就像他们的登陆页面一样。 如果可能的话，我更喜欢通过 MediaWiki API 来完
我需要访问非常旧的法语维基百科转储(维基百科的备份)。我成功地从 archive.org 找到了 2010 年的备份，现在我正在搜索 2006 年甚至更早的版本。我知道在最新的转储中包含以前的所有数据
我是一名优秀的程序员,十分优秀！