python - 使用 Scrapy 从文本文件中的多个 URL 中抓取所有外部链接

Question

我是 Scrapy 和 Python 的新手，因此我是一个初学者。我希望能够让 Scrapy 读取包含大约 100k url 种子列表的文本文件，让 Scrapy 访问每个 URL，并提取在每个种子 URL 上找到的所有外部 URL(其他站点的 URL)并将结果导出到一个单独的文本文件。

Scrapy 应该只访问文本文件中的 URL，而不是抓取并跟踪任何其他 URL。

我希望能够让 Scrapy 尽快工作，我有一个非常强大的服务器，有 1GBS 线路。我列表中的每个 URL 都来自一个唯一的域，因此我根本不会对任何 1 个站点进行重击，因此不会遇到 IP 阻止。

我如何在 Scrapy 中创建一个项目，以便能够从存储在文本文件中的 URL 列表中提取所有外部链接？

谢谢。

Answer 1

您应该使用:
1. start_requests 函数用于读取 url 列表。
2. 所有“a”html 元素的 css 或 xpath 选择器。

from scrapy import Spider

class YourSpider(Spider):
    name = "your_spider"

    def start_requests(self):
        with open('your_input.txt', 'r') as f:  # read the list of urls
           for url in f.readlines()             # process each of them
               yield Request(url, callback=self.parse)

    def parse(self, response):
        item = YourItem(parent_url=response.url)
        item['child_urls'] = response.css('a::attr(href)').extract()
        return item

有关 start_requests 的更多信息:
http://doc.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.start_requests

要将抓取的项目提取到另一个文件，请使用项目管道或源导出。基本管道示例如下:
http://doc.scrapy.org/en/latest/topics/item-pipeline.html#write-items-to-a-json-file