web-scraping - 如何使用 Import.io 抓取多个页面

Question

我正在尝试从站点中获取事件列表 http://www.cityoflondon.gov.uk/events/ , 但是当用 import.io 抓取它时，我只能提取第一页。

如何一次提取所有页面？

Answer 1

您可以使用此站点提取数据，使用爬虫或批量提取。上面的网站使用了一种非常简单的分页形式:

http://www.cityoflondon.gov.uk/events/Pages/default.aspx    
http://www.cityoflondon.gov.uk/events/Pages/default.aspx?start1=13    
http://www.cityoflondon.gov.uk/events/Pages/default.aspx?start1=49    
http://www.cityoflondon.gov.uk/events/Pages/default.aspx?start1=25    
http://www.cityoflondon.gov.uk/events/Pages/default.aspx?start1=37  

这是我为上述 URL 创建的数据集，其中应包含所有相关信息。

319aebad-88ea-4053-a649-2087011ce041

如果您对某个网站有更多疑问，请联系 support@import.io

谢谢!
梅格