facebook - wget 用于获取 Facebook 个人资料/ friend 页面

Question

我正在尝试使用“wget”获取 facebook 用户的个人资料页面，但不断获得一个名为“browser.php”的非个人资料页面，该页面与该特定用户无关。我在浏览器中看到的个人资料页面的 URL 恰好是以下格式:

http://www.facebook.com/user-name

这就是我一直用作 wget 命令参数的内容:

wget http://www.facebook.com/user-name

我也对使用 wget 来获取用户的 friend 列表感兴趣，但即使那样也给我同样无用的结果(“browser.php”):

wget http://www.facebook.com/user-name?sk=friends&v=friends

有人可以告诉我我在这里做错了什么吗？换句话说，我是否遗漏了 wget 命令的一些关键选项，或者 wget 根本不适合这种情况？

任何帮助将不胜感激。

为了向这个查询添加上下文，我需要弄清楚如何使用 wget 从 Facebook 获取这些页面，因为它会帮助我编写一个脚本/程序来从 HTML 源代码中查找 friend 的个人资料 URL，然后查看在它们上面添加一些其他关键字，等等。我基本上希望这能帮助我对我没有联系的人进行某种选择性爬行(当然是在 Facebook 的许可下)。

Answer 1

首先，Facebook 可能已经创建了一个特定用户代理(例如 wget)无法抓取页面的条件。所以他们将某些用户代理重定向到一个不同的页面，该页面可能会说“不支持您的浏览器”他们这样做是为了保护人们不做你正在做的事情。但是，您可以使用 wget 的 -U 参数告诉 wget 将自己标识为不同的代理(阅读 wget 手册页)。例如wget -U Mozilla http://....

其次，Facebook 的隐私设置很少允许您阅读任何/大量信息，除非您以用户身份登录，并且可能仅作为您尝试抓取的个人资料的好友用户登录。

第三，有一个Facebook API您需要使用它来从 Facebook 抓取和提取信息——如果您尝试以任何其他方式获取信息，您可能违反了可接受的使用政策。