java - 使用 jsoup 登录 espn Fantasy Football League 并抓取统计数据

Question

我有一个与 espn Fantasy Football 相关的宠物项目。我的联盟是私有(private)的，它要求我登录该网站才能导航到该页面。例如，当我转到

时在浏览器上

http://games.espn.go.com/ffl/standings?leagueId=491518&seasonId=2014

我被重定向到登录页面。我正在尝试使用 jsoup 登录并从网页上抓取一些数据，但我无法解决登录问题。无论我尝试什么，我都会被重定向。

我检查了 POST 和 GET 请求，发现除了用户名和密码之外，表单数据中还存在一些参数，例如“submit”、“multipleDomains”、“cookieDomain”等。我不确定是否需要设置这些参数或者没有，我尝试过，但没有成功，或者我做错了什么。在检查时我发现登录地址是

https://r.espn.go.com/espn/memberservices/pc/login

因此，当我使用该地址时，我不会被重定向，但它不会返回任何我可以在后续请求中使用的 cookie 来绕过重定向。

我正在寻找一些指导或看看是否有人成功做到了这一点？我已经看过所有“jsoup 登录示例”并尝试了其中的几个，但似乎都不起作用。任何帮助或指示将不胜感激。也许除了 jsoup 之外还有更好的方法/工具？我对 jsoup 并不严格，它似乎非常流行且稳定。

Answer 1

我希望这也能帮助别人，但事实证明我确实错过了表单数据中的一项:/如果有人尝试与 ESPN 类似的东西，正确的表单数据元素是

failedAttempts
SUBMIT
failedLocation
aff_code
appRedirect
cookieDomain
multipleDomain
username
password
submit

所有这些都可以使用 Chrome 的开发人员选项并检查登录 header 来找到。