web-crawler - DokuWiki 下载器

Question

关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。












想改进这个问题？将问题更新为 on-topic对于堆栈溢出。

4年前关闭。




Improve this question




我正在使用这个框架，它在 DokuWiki 中有文档。该框架的开发人员警告说，文档将会消失，从而迫使用户切换到新版本的框架。

切换到新框架对我来说是不可能的，因为它需要对我的每个应用程序中的所有内容进行代码重构。因此，我需要下载他们的文档，并且我希望使用 DokuWiki 语法。

我有一个有权编辑页面的帐户，因此我可以看到每个页面的 DokuWiki 语法。

问题 : 有没有办法爬取 DokuWiki 的所有页面并获取所有 DokuWiki 语法的文章(当然有这样的特权)？

PS:作者拒绝提供所有 DokuWiki(许可证不是原因)，我不想使用任何站点下载器。我只想要漂亮干净的 DokuWiki 语法，而无需手动爬取所有页面、编辑它们并保存源代码。

在此先感谢您的帮助!

Answer 1

如果他们没有禁用 ?do=export_raw 机制，您可以使用它来获取单个页面的原始 wiki 语法(参见 http://www.dokuwiki.org/export)。

可以使用 RSS 提要(参见 http://www.dokuwiki.org/syndication)或 Google 站点地图(参见 http://www.dokuwiki.org/sitemap)获取所有页面的列表。

将两者结合在一个小脚本中应该相对简单。