gpt4 book ai didi

python - Scrapy:如果 key 存在,为什么会出现 KeyError?

转载 作者:太空狗 更新时间:2023-10-30 02:44:12 26 4
gpt4 key购买 nike

定义了items.py:

import scrapy 

class CraigslistSampleItem(scrapy.Item):
title = scrapy.Field()
link = scrapy.Field()

并通过蜘蛛填充每个项目:

item = CraigslistSampleItem()
item["title"] = $someXpath.extract()
item["link"] = $someOtherXpath.extract()

当我将这些附加到列表(由 parse() 返回)并将其存储为例如一个 csv,我得到了两列数据,titlelink,正如预期的那样。如果我注释掉 link 的 XPath 并将其存储为 csv,我仍然会得到两列数据,链接列中的值为空字符串。这似乎是合理的,因为标题和链接都是每个 CraigslistSampleItem 类的属性。那么,我想我可以做这样的事情(link 的 XPath 仍然被注释掉):

  if item["link"] == '':
print "link has not been given a value"

然而,尝试获取每个项目的链接属性却失败了:

File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/scrapy/item.py", line 50, in __getitem__
return self._values[key]
exceptions.KeyError: 'link'

如果每个项目实例确实有一个链接值(尽管是一个空字符串),为什么我不能访问这个键?

最佳答案

碎片 Item类提供了一个类似字典的接口(interface)来存储提取的数据。 项目字段没有设置默认值。

要检查该字段是否已设置,只需检查项目实例中的字段键:

if 'link' not in item:
print "link has not been given a value"

演示:

In [1]: import scrapy

In [2]: class CraigslistSampleItem(scrapy.Item):
...: title = scrapy.Field()
...: link = scrapy.Field()
...:

In [3]: item = CraigslistSampleItem()

In [4]: item["title"] = "test"

In [5]: item
Out[5]: {'title': 'test'}

In [6]: "link" in item
Out[6]: False

In [7]: item["link"] = "test link"

In [8]: "link" in item
Out[8]: True

关于python - Scrapy:如果 key 存在,为什么会出现 KeyError?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30511565/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com