Python从安全网站获取数据

Question

我想知道是否有一种方法可以使用 Python 从我的银行网站获取信息，我想检索我的银行卡历史记录并显示它，并可能每月将其保存到文本文档中。

我找到了用于登录并从网站获取信息的 urls，该网站可通过浏览器运行，但我一直在使用 liburl2 从 Python“打开”网页，我感觉它无法正常工作，因为某些原因cookie 或 session 的东西。

我可以从一个不需要使用 urllib2 登录的网站上获取我想要的任何信息，然后保存实际的 HTML 并稍后浏览它，但我不能在我的银行网站上，

任何帮助将不胜感激

Answer 1

这是 Web-Scraping 的一部分:

• 网络抓取是一项标准任务，可以满足各种需求。
• 从安全网站抓取数据意味着 https
• 处理 https 不是 mechanize 和 BeautifulSoup 的问题
• 尽管 urllib2 和 HTTPCookieJar 也可以正常工作
• 如果管理 cookie 是个问题，那么我会推荐 mechanize

考虑到您的银行网站的情况:

1. 我建议不要使用您的帐户。
2. 如果必须的话，它不像任何普通的安全/非安全站点那么容易。
3. 这些网站旨在抵御此类脚本。

你会遇到的问题:

1. BANK 网站肯定会有验证码，除非您投入大量的火箭科学和努力，否则几乎不可能用脚本绕过验证码。
2. 您肯定会遇到的其他问题是 javascript，标准脚本解决方案专注于管理 cookie、HTML 解析等。要处理链接上的 javascript，您必须在 python 脚本中处理 js。这又需要付出很多努力。
3. 然后，再次来自 javascript 的 AJAX 在页面加载后从服务器获取数据。

所以，完成这个任务需要你付出很大的努力。

此外，如果您尝试这样做，您可能会面临阻止访问您的帐户的风险，因为银行网站会在 3-4 次登录或验证码等尝试失败后快速阻止帐户访问。

所以，三思而后行。