nlp - 使用自然语言处理来解析网站

Question

我通常对通过抓取网站进行数据挖掘很感兴趣，但是我一直找不到很多关于我真正想实现的过程的文档。我非常热衷于编写一组基本规则来定义如何解析页面，然后在工具出错时对其进行训练。

假设我想解析餐厅网站的菜单。我想创建一个工具，让我可以编写一组规则来大致显示菜单项和价格的位置。然后，我可以运行该工具并告诉它哪些菜单项被正确解析，哪些是错误的。然后，该工具将从这些更正中“学习”，下次运行它时，我会得到更好的结果。

我稍微看了看 NLTK 工具包，这让我想知道解决这个问题的最好方法是使用 NLP 工具，比如 NLTK。任何人都可以指出正确的方向来寻找可以帮助我入门的书籍和(理想情况下)图书馆吗？ NLP 是要走的路吗？谢谢!

Answer 1

I'm very keen on the idea of writing a base set of rules that define how to parse a page

“解析页面”到底是什么意思？解析页面中的句子？做结构化information extraction ？

The tool would then "learn" from these corrections, and the next time I run it, I'd get better results.

这是active learning的问题，这是非常高级的东西。你需要一个机器学习工具包；哪一个取决于你到底想做什么:制作解析树或提取显着信息。我相信 NLTK 有一些随机解析器支持。