python - 蜘蛛内部的 Scrapyd jobid 值

Question

框架 Scrapy - Scrapyd 服务器。

我在获取 spider 内部的 jobid 值时遇到了一些问题。

将数据发布到 http://localhost:6800/schedule.json 后响应是

status = ok
jobid = bc2096406b3011e1a2d0005056c00008

但是我需要在这个过程中在当前蜘蛛中使用这个jobid。它可用于打开 {jobid}.log 文件或其他动态原因。

class SomeSpider(BaseSpider):
    name = "some"
    start_urls = ["http://www.example.com/"]
    def parse(self, response):
        items = []
        for val in values:
            item = SomeItem()
            item['jobid'] = self.jobid # ???!
            items.append(item)
        return items

但是我只有在任务完成后才能看到这个 jobid :( 谢谢!

Answer 1

您可以从SCRAPY_JOB环境变量中获取它:

os.environ['SCRAPY_JOB']