python - 在 python 中创建到订阅站点的连接

Question

我想用 python 打开连接到 http://www.horseandcountry.tv它通过 POST 方法获取我的登录参数。我想打开一个到这个网站的连接，以便抓取该网站的所有视频链接(这个，我也不知道该怎么做，但我正在使用这个项目来学习)。

我的问题是如何将我的凭据传递到网站的各个页面？例如，如果我只想使用 python 代码打开一个指向 http://play.horseandcountry.tv/live/ 的浏览器窗口并在我已经登录的情况下打开它，我该怎么做？

Answer 1

据我所知，您有两种选择，具体取决于您希望如何抓取以及需要抓取的内容:

1) 使用urllib .您可以使用必要的登录凭据执行 POST 请求。这是低级解决方案，这意味着速度很快，但无法处理 javascript 代码等高级内容。

2) 使用selenium .您可以模拟浏览器(Chrome、Firefox 等)，并通过您的 Python 代码运行操作。然后它会慢得多但适用于过于“复杂”的网站。

我通常做的:我尝试第一个选项，如果遇到网站上的 javascript 安全层之类的问题，则选择选项 2。此外，selenium 可以从您的桌面打开一个真正的网络浏览器，并为您提供一个你报废的视觉效果。

无论如何，只需使用 goolge“urllib/selenium 登录网站”，您就会找到所需的内容。