python - 如何从列表中删除错误的URL？

Question

我有一个保存在.csv文件中的超过1000个URL(这些URL用于下载报告)的列表。
一些URL具有404 error，我想找到一种从列表中删除它们的方法。

我设法编写了一个代码来识别下面哪个URL无效(对于python 3)。但是，如果有许多URL，我不知道如何自动从列表中删除这些URL。谢谢!

from urllib.request import urlopen
from urllib.error import HTTPError
try:
   urlopen("url")
except HTTPError as err:
   if err.code == 404:
      print ('invalid')
   else:
      raise 

Answer 1

您可以使用另一个列表来保存404网址(如果404网址少于普通网址)，则获取差异集，因此:

from urllib.request import urlopen
from urllib.error import HTTPError

exclude_urls = set()
try:
   urlopen("url")
except HTTPError as err:
   if err.code == 404:
      exclude_urls.add(url)

valid_urls = set(all_urls) - exclude_urls