python - 在 Python 中抓取 Facebook

Question

我想知道我的每个好友在 Facebook 上的好友数量。显然官方 Facebook API 不允许获取 friend 的 friend ，所以我需要以某种方式绕过这个(有点明智的)限制。我尝试了以下方法:

import sys
import urllib, urllib2, cookielib

username = 'me@example.com'
password = 'mypassword'

cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'email' : username, 'pass' : password})
request = urllib2.Request('https://login.facebook.com/login.php')
request.add_header('User-Agent','Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9.2.12) Gecko/20101027 Fedora/3.6.12-1.fc14 Firefox/3.6.12')
opener.open(request, login_data)
resp = opener.open('http://facebook.com')
print resp.read()

但我最终只得到一个验证码页面。知道 FB 是如何检测到请求不是来自“普通”浏览器的吗？我可以添加一个额外的步骤来解决验证码，但这会给程序增加不必要的复杂性，所以我宁愿避免它。当我使用具有相同 User-Agent 字符串的 Web 浏览器时，我没有收到验证码。

或者，有没有人对如何实现我的目标有更明智的想法，即获取 friend 的 friend 列表？

Answer 1

您是否尝试过使用 Fiddler2 或 Wireshark 跟踪和比较 HTTP 事务？ Fiddler 甚至可以跟踪 https，只要您的客户端代码可以使用伪造的证书即可。