wikipedia - 如何下载和使用维基百科数据转储？

Question

我想计算特定语言的 wiki 转储中的实体/类别，比如英语。对于初学者来说，很难找到/遵循官方文档。到目前为止我所了解的是我可以下载一个 XML 转储(我从所有可用的不同文件中下载什么)，并解析它(？)以计算实体(文章主题)和类别。

此信息(如果有的话)很难找到。请提供一些关于我如何使用它的说明或我可以了解它的资源。

谢谢!

Answer 1

转储相当笨重:即使是“真实”的小转储也有 25G。由于 RDF 相当冗长，因此扩展到 >100G。所以我的一般建议是避免转储。

如果实在忍不住，https://wdumps.toolforge.org/dumps允许您仅使用所需的语言/属性/实体创建自定义的转储子集。

然后，逐行阅读并……对每一行做一些事情