python - 从谷歌图像搜索下载图像(python)

Question

我是网络抓取初学者。我首先引用https://www.youtube.com/watch?v=ZAUNEEtzsrg下载带有特定标签的图像(例如 cat )，它可以工作!但是我遇到了新问题，只能下载大约100张图像，这个问题看起来像“ajax”，只加载第一页html而不加载全部。因此，看来我们必须模拟向下滚动才能下载接下来的 100 张或更多图像。

我的代码:https://drive.google.com/file/d/0Bwjk-LKe_AohNk9CNXVQbGRxMHc/edit?usp=sharing

总结一下，存在以下问题:

1. 如何通过Python源代码下载google图片搜索中的所有图片(请给我一些例子:))

2. 有我必须知道的网页抓取技术吗？

Answer 1

我的最终解决方案是使用 icrawler .

from icrawler.examples import GoogleImageCrawler

google_crawler = GoogleImageCrawler('your_image_dir')
google_crawler.crawl(keyword='sunny', offset=0, max_num=1000,
                     date_min=None, date_max=None, feeder_thr_num=1,
                     parser_thr_num=1, downloader_thr_num=4,
                     min_size=(200,200), max_size=None)

优点是该框架内置了5个爬虫(google、bing、baidu、flicker和一般爬虫)，但从google爬取时仍然只提供100张图片。