gpt4 book ai didi

ruby - Ruby 中可用的网页抓取 gem /工具

转载 作者:数据小太阳 更新时间:2023-10-29 06:45:28 26 4
gpt4 key购买 nike

<分区>

我正尝试在我正在处理的 Ruby 脚本中抓取网页。该项目的目的是展示哪些 ETF 和股票共同基金最符合值(value)投资理念。

我想抓取的一些页面示例是:

http://finance.yahoo.com/q/pr?s=SPY+Profile
http://finance.yahoo.com/q/hl?s=SPY+Holdings
http://www.marketwatch.com/tools/mutual-fund/list/V

您为 Ruby 推荐了哪些网络抓取工具,为什么?请记住,那里有成千上万的股票基金,因此我使用的任何工具都必须相当快速。

我是 Ruby 新手,但我有使用 lxml 在 Python 中抓取网页的经验 (https://github.com/jhsu802701/dopplervalueinvesting/blob/master/screen.py)。下载 5000 多只股票的页面后,lxml 可以在几分钟内将它们全部抓取。 (我记得尝试过 BeautifulSoup 但拒绝了,因为它太慢了。)

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com