javascript - 如何使用关键字搜索抓取 youtube 视频链接

Question

我正在做一些研究我想抓取 youtube 视频链接(然后获取视频 ID)

例如，如果我在 youtube 搜索栏中输入关键字“obama”然后 youtube.com 将返回结果页面

http://www.youtube.com/results?search_query=htc&page=2将页面向下滚动到底部我们可以看到页码 1 2 3 4 5 6 7单击页码从 2 到 3 到 4 到 5....然后我们可以达到最大页数:50

所以我要下载1到50的所有页面有一个 url 技巧，比如

http://www.youtube.com/results?search_query=obama&page=5

但是，如果我使用wget来下载每个页面，有时，下载会被阻止或者有时候，当页码很大时，返回的页面并不是异常页面。

所以正确的方法是手动点击页码按钮并使用网络浏览器下载每个页面，是否可以将手动过程自动化？我在 Internet 上搜索，有些人提到了 chrome javascript 扩展，不管怎样，有什么方法可以编写一些自动化脚本来模拟手动操作吗？谢谢!

Answer 1

为什么不直接使用他们的 API？爬行通常是一种不好的做法。

https://developers.google.com/youtube/2.0/developers_guide_protocol

https://developers.google.com/youtube/2.0/developers_guide_protocol_api_query_parameters

https://gdata.youtube.com/feeds/api/videos?
    q=football+-soccer
    &orderby=published
    &start-index=11
    &max-results=10
    &v=2