作者热门文章
- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我可以用一个简单的命令在scrapy中运行一个蜘蛛
scrapy crawl custom_spider -a input_val=5 -a input_val2=6
input_val
和 input_val2
是我传递给蜘蛛的值
上面的方法没问题..
但是在使用 scrapyd 调度蜘蛛时
运行
curl http://localhost:6800/schedule.json -d project=crawler -d input_val=5 -d input_val2=6 -d spider=custom_spider
抛出错误
spider = cls(*args, **kwargs)
exceptions.TypeError: __init__() got an unexpected keyword argument '_job'
我如何让它工作?
编辑这:在我的初始值设定项中:
def __init__(self,input_val=None, input_val2=None, *args, **kwargs):
self.input_val = input_val
self.input_val2 = input_val2
super(CustomSpider, self).__init__(*args, **kwargs)
最佳答案
请务必在您的蜘蛛中支持任意关键字参数并使用super()
调用__init__
like shown in the docs for spider arguments :
class MySpider(scrapy.Spider):
name = 'myspider'
def __init__(self, category=None, *args, **kwargs):
super(MySpider, self).__init__(*args, **kwargs) # <- important
self.category = category
Scrapyd 将作业 ID 作为传递给蜘蛛的 _job
参数提供(参见 code here)。
关于python - 如何从scrapyd向scrapy爬虫传递参数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32223955/
我是一名优秀的程序员,十分优秀!