python - 页面抓取以从谷歌财经获取价格

Question

我试图通过抓取谷歌财经页面来获取股票价格，我在 python 中执行此操作，使用 urllib 包，然后使用正则表达式获取价格数据。

当我让我的 python 脚本运行时，它最初工作了一段时间(几分钟)然后开始抛出异常 [HTTP 错误 503:服务不可用]

我猜这是因为在 Web 服务器端它检测到频繁的页面更新作为机器人并在一段时间后抛出此异常..

有没有办法解决这个问题，即删除一些 cookie 或创建一些 cookie 等。

如果 google 提供了一些 api 甚至更好，我想在 python 中执行此操作，因为 python 中的完整应用程序，但如果 python 中没有可用的内容来执行此操作，我可以考虑替代方案。这是我在循环中使用的 python 方法来获取数据(几秒钟的 sleep 我在循环中调用这个方法)

 def getPriceFromGOOGLE(self, symbol):
    """ 
    gets last traded price from google for given security
    """         
    toReturn = 0.0
    try:
        base_url = 'http://google.com/finance?q='
        req = urllib2.Request(base_url + symbol)
        content = urllib2.urlopen(req).read()
        namestr = 'name:\"' + symbol + '\",cp:(.*),p:(.*),cid(.*)}'
        m = re.search(namestr, content)
        if m:
            data = str(m.group(2).strip().strip('"'))
            price = data.replace(',','')
            toReturn = float(price)
        else:
            print 'ERROR ' + str(symbol) + ' --- ' + str(content)      
    except Exception, exc:
        print 'Exc: ' + str(exc)       
    finally: 
        return toReturn

Answer 1

问题很老，但选择的答案不再有效。
API 已被弃用。

有一个开源项目可以从 Google 财务中抓取所有公司，并将它们与当前价格相匹配 http://scrape-google-finance.compunect.com/
该项目解决了大部分问题，包括缓存、IP 管理并且工作稳定，不会被阻塞。
它使用内部财务公司匹配 api 来抓取公司和图表 api 来获取价格。但是它是 php 代码，而不是 python。您仍然可以了解它如何解决任务并对其进行调整。