python - 如何在Scrapy上同步获取Request的Response对象？

Question

我相信使用“回调”方法是异步的，如果我错了，请纠正我。我对 Python 还很陌生，所以请耐心等待。

无论如何，我正在尝试创建一种方法来检查文件是否存在，这是我的代码:

def file_exists(self, url):
    res = False;
    response = Request(url, method='HEAD', dont_filter=True)
    if response.status == 200:
        res = True
    return res

我以为Request()方法会返回一个Response对象，但它仍然返回一个Request对象，为了捕获Response，我必须为回调创建一个不同的方法。

有没有办法在调用 Response() 方法的代码块中获取 Response 对象？

Answer 1

如果有人仍然对可能的解决方案感兴趣 - 我通过在 scrapy 函数“内部”执行“请求”请求来管理它，如下所示:

import requests    
request_object = requests.get(the_url_you_like_to_get)
response_object = scrapy.Selector(request_object )
item['attribute'] = response_object .xpath('//path/you/like/to/get/text()').extract_first()

然后继续。