nlp - 关于从 TripAdvisor 抓取数据的任何建议

Question

我们目前正在开展一个 NLP 项目，需要一个旨在从 tripadvisor.com 中提取的语料库。我们期望输出有两种类型:评论和该评论的评级。我的问题是:

• 有没有最适合此目的的抓取工具？一定要简单易用，最好是python。 Beautiful Soup 是我找到的，但我想在这里询问它是否有其他建议。

• 是否有专门用于此目的的完整工具？我的意思是为 tripadvisor.com 编写的程序？

• 任何其他有关从大型网站抓取数据(评论/评级)的建议将不胜感激。

该语料库将用于大学研究的情感分析，我们需要尽快抓取它。

Answer 1

对于python可以使用scrapy，这是一个熟练的爬虫框架，http://scrapy.org/

此外，我邀请您分享您收集的数据。如果 tripadvisor 数据已准备就绪，则无需进行抓取。或者至少，您可以共享爬虫脚本。