gpt4 book ai didi

python-2.7 - 如何使用笔记本执行scrapy shell "URL"

转载 作者:行者123 更新时间:2023-12-04 03:37:26 25 4
gpt4 key购买 nike

我试图刮scrap

并且有爬取的shell“URL”命令,使用来自URL的响应对象执行控制台ipython。

但是我想用笔记本做那件事。

有什么办法可以用笔记本执行刮y的 shell ,

或如何在ipython中手动获取URL的相同响应对象?

最佳答案

偶然发现了这个没有答案的问题,寻找相同的答案。
我现在能想到的最接近的东西是:

import requests
from scrapy.http import TextResponse

r = requests.get('http://stackoverflow.com/')
response = TextResponse(r.url, body=r.text, encoding='utf-8')

然后,您可以使用xpath()之类的常用方法调试响应。

关于python-2.7 - 如何使用笔记本执行scrapy shell "URL",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26177620/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com