api - 从 Wiki 转储中获取 Interlanguage 链接

Question

我试图从维基百科转储中提取中间语言链接。似乎这些链接已移至 WikiData 项目，并且仅通过 API 提供访问权限。

这个分支解释了如何处理这个问题并建议切换到 API:
Retrieving the Interlanguage links from an exported Wikipedia article?

但是，我的研究范围似乎太大而无法使用 Web API(数百万次查询)。有谁知道是否可以从 API 以外的任何地方提取这些链接？解析任何大小的转储比查询 API 更可取。

我使用的维基百科转储:
http://dumps.wikimedia.org/backup-index.html

我使用的 WikiData 转储:
http://dumps.wikimedia.org/wikidatawiki/latest/

Answer 1

用于轻松处理 Wikidata 转储的非常出色的库是 Wikidata Toolkit ，它为您抽象出很多细节。在最新版本0.3有越来越多的示例脚本可以帮助完成像您这样的基本任务。在 examples readme我们找到 SitelinksExample.java :

This program shows how to get information about the site links that are used in Wikidata dumps. The links to Wikimedia projects use keys like "enwiki" for English Wikipedia or "hewikivoyage" for Hebrew WikiVoyage. To find out the meaning of these codes, and to create URLs for the articles on these projects, Wikidata Toolkit includes some simple functions that download and process the site links information for a given project. This example shows how to use this functionality.