python - 我可以使用 scrapy 抓取本地机器的 html 页面吗？

Question

我是 scrapy 的新手。我需要使用 scrapy 制作一个小演示。

我使用 scrapy 来抓取 stackoverflow，我成功了。我想在存储在我本地机器上的 html 页面上尝试这个。可能吗？

请帮帮我

Answer 1

是的，你可以。只需将允许的域保留为空白，并在 start_url 中将 html 文件的位置设为 file://home/file.html。代码将是这样的

class MySpider(Spider):
    name = "myspider"
    allowed_domains = []
    start_urls = ["file:///home/file.html"]