python - 简单的网络爬虫我需要消除数组中存在的重复 URL

Question

我正在使用数组来存储 URL，我需要消除在数组中多次出现的 URL，因为我不需要再次抓取相同的 URL:

self.level = []  # array where the URL are present 
for link in self.soup.find_all('a'):
    self.level.append(link.get('href'))
    print(self.level)

我需要在抓取此 URL 之前消除重复的 URL。

Answer 1

维护 set网址:

self.level = set()
for link in self.soup.find_all('a'):
    self.level.add(link.get('href'))