gpt4 book ai didi

python - 如何将 start_url 添加为项目?

转载 作者:太空宇宙 更新时间:2023-11-03 17:02:34 24 4
gpt4 key购买 nike

我是 Python 和 Scrapy 新手。我希望 item['Source_Website'] 成为我正在抓取的网址。我怎样才能实现这个目标?

我尝试了 item['Source_Website'] = selecter.ulritem['Source_Website'] = start_urls 但没有运气。

from scrapy.selector import Selector
from scrapy.spider import BaseSpider
from shikari.items import ShikariItem

class Radiate (BaseSpider) :
name = "sss"
download_delay = 3
concurrent_requests = 1
allowed_domains = ["website.com"]
start_urls = ['http://www.website.com/1',
'http://www.website.com/2']

def parse(self, response) :
sel = Selector (response)
item = ShikariItem ()
item['Heading'] = str (sel.xpath ('//h1/text()').extract ())
item['Source_Website'] =
return item

最佳答案

使用response.url如下:

item['Source_Website'] = response.url

关于python - 如何将 start_url 添加为项目?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34907092/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com