可以标记维基百科页面的 Python 库

Question

我想用一个或多个 Python 库标记出感兴趣的维基百科页面。我对表格和列表最感兴趣。我希望能够将此数据导入 Postgres 或 Neo4j。

例如，这是我感兴趣的三个数据集:

• 在 2008 年欧洲歌唱大赛中，每个国家/地区互相授予了多少分: http://en.wikipedia.org/wiki/Eurovision_Song_Contest_2008#Final
• 货币列表及其流通国家(多对多关系): http://en.wikipedia.org/wiki/List_of_circulating_currencies
• 世界各地的太阳能发电厂列表:http://en.wikipedia.org/wiki/List_of_solar_thermal_power_stations

其中每一个的来源都是用维基百科的标记标记编写的，用于呈现它们。原始数据形式中使用了许多特定于维基百科的标签和语法。 HTML 可能几乎是更简单的解决方案，因为我可以使用 BeautifulSoup。

有人知道更好的标记化方法吗？我觉得如果我采用最终的 HTML 并用 BeautifulSoup 解析它，我会重新发明轮子。此外，如果我能找到一种方法以 XML 格式输出这些页面，表数据可能没有足够的标记化，需要进一步处理。

Answer 1

由于维基百科是建立在 MediWiki 之上的，所以有一个 api你可以利用。还有Special:Export你可以使用。

一旦获得原始数据，就可以通过 mwlib 运行它解析它。