python - 网络抓取运行时出现 ConnectionResetError。

Question

我是 python 的新手。下面的函数给出了 imdb 中的电影和导演名称。它适用于单个链接。但是，当我为大量链接运行它时，它会出现 ConnectionResetError: [WinError 10054] 现有连接被远程主机强行关闭。

我该怎么办？如何改进代码？

def get_director(movie_url):
    html=urllib.request.urlopen(movie_url).read()
    soup=BeautifulSoup(html,"lxml")
    movie=soup.find("h1","header")
    movie_name=movie.find("span","itemprop").text
    d=soup.find("div","txt-block")
    director=d.find("span","itemprop").text
    return {'Movie':movie_name,'Director':director}

Answer 1

这听起来很可能是服务器端的速率限制或其他一些限制，而不是代码本身的缺陷。您应该首先查看 imdb 是否发布了官方费率或其他对抓取的限制；如果没有，您别无选择，只能试验并退出，直到错误停止。