python - 使用 Python 单击按钮以加载 HTML

Question

我正在制作一个从 Youtube 播放列表中抓取信息的 python 脚本。

我的问题是我的脚本不适用于包含 100 多个视频的播放列表，因为 Youtube 要求您单击页面底部的“加载更多”按钮(参见下面的代码和图片)以加载更多播放列表。

我的问题是如何使用 Python 单击此按钮以加载页面的其余部分？

<button class="yt-uix-button yt-uix-button-size-default yt-uix-button-default load-more-button yt-uix-load-more browse-items-load-more-button" type="button" onclick=";return false;" aria-label="Load more
" data-uix-load-more-target-id="pl-load-more-destination" data-uix-load-more-href="/browse_ajax?    action_continuation=1&amp;continuation=4qmFsgIuEiRWTFBMQjZKLXhzOVhod0IyRHY2ZV9rR0t4Z2xEOVNVdDBVSmQaBkNHVSUzRA%253D%253D"><span class="yt-uix-button-content">  <span     class="load-more-loading hid">
  <span class="yt-spinner">
  <span title="Loading icon" class="yt-spinner-img  yt-sprite"></span>

Loading...
  </span>

  </span>
  <span class="load-more-text">
    Load more

  </span>
</span></button>

Answer 1

通常单击按钮会提交一个表单。此表单提交是一个 HTTP POST 请求。我已经通过单击 next 检查了 youtube(使用 Chrome 开发工具)按钮，发现它是XHR GET HTTP要求。见下图:

因此，在您最初获得一个页面后，您可能会通过请求加载更多(第 2,3 页等): https://www.youtube.com/results?search_query=<search term>&page=2&spf=navigate而不是 page=2您在行中设置下一页编号，例如。 page=3等等

响应将是格式良好的 JSON，其中包含您需要的所有信息。