python - 如何使用Scrapy获取域名？

Question

我知道在 html 中有一个命令:var x = document.domain; 获取域但是我如何在 Scrapy 中实现它以便我可以获得域名？

Answer 1

您可以 extract the domain name来自 response.url:

from urlparse import urlparse

def parse(self, response):
    parsed_uri = urlparse(response.url)
    domain = '{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri)
    print domain