app-store - iTunes的AppStore出现问题

Question

我正在使用Scrapy从iTunes的AppStore数据库中获取一些数据。我从以下应用列表开始:http://itunes.apple.com/us/genre/mobile-software-applications/id36?mt=8

在以下代码中，我使用了最简单的正则表达式，它针对美国商店中的所有应用程序。

from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule

class AppStoreSpider(CrawlSpider):
    domain_name = 'itunes.apple.com'
    start_urls = ['http://itunes.apple.com/us/genre/mobile-software-applications/id6015?mt=8']

    rules = (
        Rule(SgmlLinkExtractor(allow='itunes\.apple\.com/us/app'),
            'parse_app', follow=True,
        ),
    )

def parse_app(self, response):
    ....

SPIDER = AppStoreSpider()

当我运行它时，我收到以下信息:

 [itunes.apple.com] DEBUG: Crawled (200) <GET http://itunes.apple.com/us/genre/mobile-software-applications/id6015?mt=8> (referer: None)
 [itunes.apple.com] DEBUG: Filtered offsite request to 'itunes.apple.com': <GET http://itunes.apple.com/us/app/bloomberg/id281941097?mt=8>

如您所见，当它开始爬网第一页时，它说:“过滤到'itunes.apple.com'的异地请求”。然后蜘蛛停下来。
它还返回此消息:

[ScrapyHTTPPageGetter,client] /usr/lib/python2.5/cookielib.py:1577: exceptions.UserWarning: cookielib bug!

追溯(最近一次通话):
make_cookies中的文件“/usr/lib/python2.5/cookielib.py”，行1575
parse_ns_headers(ns_hdrs)，请求)
_cookies_from_attrs_set中的文件“/usr/lib/python2.5/cookielib.py”，第1532行
cookie = self._cookie_from_cookie_tuple(tup，请求)
_cookie_from_cookie_tuple中的文件“/usr/lib/python2.5/cookielib.py”，行1451
如果version不是None:version = int(version)
ValueError:以10为底的int()的无效文字:“” 1“”

我在其他网站上使用了相同的脚本，但没有出现此问题。

有什么建议吗？

Answer 1

当我在浏览器中点击该链接时，它会自动尝试在本地打开iTunes。这可能是错误中提到的“异地请求”。

我会尝试:

1)从网址末尾删除“？mt = 8”。看起来似乎并不需要，它可能与请求有关。

2)在Scrapy Shell中尝试相同的请求。这是调试代码和尝试新事物的简便得多的方法。此处有更多详细信息:http://doc.scrapy.org/topics/shell.html?highlight=interactive