gpt4 book ai didi

ruby - 跳过扩展名为 pdf、zip 的网页,从 Anemone 中爬行

转载 作者:数据小太阳 更新时间:2023-10-29 07:46:59 25 4
gpt4 key购买 nike

我正在使用 anemone gem(Ruby- 1.8.7 和 Rails 3.1.1)开发爬虫。我应该如何从抓取/下载中跳过带有扩展名 pdf、doc、zip 等的网页。

最佳答案

ext = %w(flv swf png jpg gif asx zip rar tar 7z gz jar js css dtd xsd ico raw mp3 mp4 wav wmv ape aac ac3 wma aiff mpg mpeg avi mov ogg mkv mka asx asf mp2 m1v m3u f4v pdf doc xls ppt pps bin exe rss xml)

Anemone.crawl(url) do |anemone|

anemone.skip_links_like /\.#{ext.join('|')}$/

...

end

关于ruby - 跳过扩展名为 pdf、zip 的网页,从 Anemone 中爬行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8341203/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com