python - Linux 服务器上的 HTTP 错误 429，但不是我的本地计算机？

Question

我正在运行一个 Python 程序，它每小时使用 Pytube 从 YouTube 下载一个视频到我的本地机器上，我完全没有问题。但是，当我将相同的程序部署到我的 Linux 服务器上时，我收到以下错误:

urllib.error.HTTPError: HTTP Error 429: Too Many Requests

有谁知道这是为什么或我能做些什么来解决它？我正在使用运行 Ubuntu 21.10 的 Linode 共享 CPU。
这是完整的错误:

Traceback (most recent call last):
  File "/root/main.py", line 137, in <module>
    main_function()
  File "/root/main.py", line 131, in main_function
    get_screenshot()
  File "/root/main.py", line 60, in get_screenshot
    video = youtube.streams.get_highest_resolution()
  File "/usr/local/lib/python3.9/dist-packages/pytube/__main__.py", line 291, in streams
    self.check_availability()
  File "/usr/local/lib/python3.9/dist-packages/pytube/__main__.py", line 206, in check_availability
    status, messages = extract.playability_status(self.watch_html)
  File "/usr/local/lib/python3.9/dist-packages/pytube/__main__.py", line 98, in watch_html
    self._watch_html = request.get(url=self.watch_url)
  File "/usr/local/lib/python3.9/dist-packages/pytube/request.py", line 53, in get
    response = _execute_request(url, headers=extra_headers, timeout=timeout)
  File "/usr/local/lib/python3.9/dist-packages/pytube/request.py", line 37, in _execute_request
    return urlopen(request, timeout=timeout)  # nosec
  File "/usr/lib/python3.9/urllib/request.py", line 214, in urlopen
    return opener.open(url, data, timeout)
  File "/usr/lib/python3.9/urllib/request.py", line 523, in open
    response = meth(req, response)
  File "/usr/lib/python3.9/urllib/request.py", line 632, in http_response
    response = self.parent.error(
  File "/usr/lib/python3.9/urllib/request.py", line 555, in error
    result = self._call_chain(*args)
  File "/usr/lib/python3.9/urllib/request.py", line 494, in _call_chain
    result = func(*args)
  File "/usr/lib/python3.9/urllib/request.py", line 747, in http_error_302
    return self.parent.open(new, timeout=req.timeout)
  File "/usr/lib/python3.9/urllib/request.py", line 523, in open
    response = meth(req, response)
  File "/usr/lib/python3.9/urllib/request.py", line 632, in http_response
    response = self.parent.error(
  File "/usr/lib/python3.9/urllib/request.py", line 561, in error
    return self._call_chain(*args)
  File "/usr/lib/python3.9/urllib/request.py", line 494, in _call_chain
    result = func(*args)
  File "/usr/lib/python3.9/urllib/request.py", line 641, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 429: Too Many Requests

Answer 1

从您的帖子和评论中，我得出的结论是 Youtube 阻止了来自 linode(可能还有大多数云提供商)的请求。
不幸的是，没有简单的解决方案，但这里有一些想法:
1.a.带代理的云提供商 (Linode)
继续使用 linode 并使用代理(使用 Python 的 requests 模块相当容易)。有许多免费代理，但通常延迟非常显着。此外，有时连接超时或由于其他原因未处理。
您可以使用代理池，以便在出现高延迟或其他问题时有替代方案。
另请记住，使用(公共(public))代理可能存在安全隐患。所以我会非常小心发送的信息(即没有密码等)。
1.b。 GCP
谷歌有自己的云提供商 GCP。价格通常略高于同行。但这可能只是 Youtube 没有阻止 GCP(既是谷歌)。他们可能在某个共享网络上。所以这可能值得测试。
2. 裸机
正如您所指出的，您的家用机器能够运行您的脚本。因此，您可以让您的家庭系统作为家庭服务器运行。
或者，您也可以使用单板计算机(例如 Raspberry Pi):它们通常具有非常低的功耗，它们很便宜，可以 24/7 全天候运行并支持大多数通常需要的软件(Python、Docker 等)。