python - 如何使用 scrapy 合约？

Question

Scrapy 合约问题

我开始研究 scrapy 框架。也实现了一些蜘蛛 提取，但我无法为蜘蛛编写单元测试用例，因为契约(Contract) scrapy 提供的包文档没有正确的程序来编写 测试用例。请帮我解决这个问题。

Answer 1

是的，Spiders Contracts 远非清晰和详细。

我不是编写蜘蛛契约(Contract)的专家(实际上在 web-scraping tutorial 上工作时只写过一次)。但是每当我需要为 Scrapy 蜘蛛编写测试时，我更喜欢遵循 ​​newcoder.io 的方法——从本地 html 文件创建一个假的响应。这是否仍然是一个单元测试过程是有争议的，但这为您提供了更多的灵 active 和稳健性。

请注意，您仍然可以编写契约(Contract)，但您很快就会觉得需要扩展它们并编写自定义契约(Contract)。这很好。

相关链接:

• suggested here
• Scrapy Unit Testing