mediawiki - 了解维基媒体转储

Question

我正在尝试解析 latest wikisource dump .更具体地说，我想获取Category:Ballads 下的所有页面。页。为此，我下载了 https://dumps.wikimedia.org/enwikisource/latest/enwikisource-latest-pages-articles.xml.bz2倾倒。在此转储中，相关页面包含除实际链接之外的所有内容:

<page>
    <title>Category:Ballads</title>
    <ns>14</ns>
    <id>115796</id>
    <revision>
      <id>4753508</id>
      <parentid>4003780</parentid>
      <timestamp>2014-01-25T16:21:08Z</timestamp>
      <contributor>
        <username>EmausBot</username>
        <id>983607</id>
      </contributor>
      <minor />
      <comment>Bot: Migrating 2 interwiki links, now provided by [[Wikipedia:Wikidata|Wikidata]] on [[d:Q8286819]]</comment>
      <model>wikitext</model>
      <format>text/x-wiki</format>
      <text bytes="51" xml:space="preserve">[[Category:Song lyrics]]
[[Category:Poems by form]]</text>
      <sha1>43eusqpjj6kaqcp6nl1tcmo4ass36ia</sha1>
    </revision>
  </page>
  <page>

我的问题是，如何获取实际的页面内容以及该页面中的所有链接？
谢谢!

Answer 1

您下载了错误版本的转储。如果您对分类链接感兴趣，需要下载https://dumps.wikimedia.org/enwikisource/latest/enwikisource-latest-categorylinks.sql.gz ， 例如。
如果您需要 XML 格式，则需要自己从原始 wikitext 中解析此信息。为此，您可以使用 https://dumps.wikimedia.org/enwikisource/latest/enwikisource-latest-pages-meta-current.xml.bz2 .
编辑每个评论:enwikisource-latest-pages-meta-current.xml不包含有关类别的机器可读信息，它只包含有关当前页面内容的信息。您需要查找文本 XML 元素，其中包含存储在页面中的原始 wikitext。通常，在内容的末尾，它是这样的:

[[Category:American Civil War]]
[[category:American speeches]]

这表明该页面属于“美国内战”和“美国演讲”类别。
如果您想要解析的信息，则需要处理 .sql 文件 AFAIK。