python - 使用 Scrapy 规避 Steam 年龄检查

Question

所以我想用Scrapy做一个steam游戏的刷屏器。我不知道为什么有些游戏没有显示在结果 csv/json 中。我认为这是因为年龄验证表。

我真的很想看看问题出在哪里......但一切似乎都应该有效。有人可以帮忙吗？

我注意到回调将返回相同的年龄检查链接，并且 dupefilter 将删除该链接。所以游戏永远不会被删减。

示例游戏:《古墓丽影:崛起》、《毁灭战士》。

这是代码:

def parse_product(self, response):
    # Circumvent age selection form.
    if '/agecheck/app' in response.url:
        logger.debug(f"Form-type age check triggered for {response.url}.")

        form = response.css('#agegate_box form')

        action = form.xpath('@action').extract_first()
        name = form.xpath('input/@name').extract_first()
        value = form.xpath('input/@value').extract_first()

        formdata = {
            name: value,
            'ageDay': '21',
            'ageMonth': '5',
            'ageYear': '1975'
        }

        yield FormRequest(
            url=action,
            method='POST',
            formdata=formdata,
            callback=self.parse_product
        )
    else:
        yield load_product(response)

Answer 1

Steam 将提交此表单的结果存储在 lastagecheckage 和 birthtime cookie 中，因此您可能需要在 scrapy 项目上启用 cookie 或将它们作为自定义值传递使用 cookies 属性创建 Request 或 FormRequest。

您可以阅读有关如何发送cookie的更多信息on the scrapy documentation