python - 使用 Scrapy 登录 Facebook 时出现问题

Question

(我在 Scrapy google-group 上问过这个问题，但运气不好。)

我正在尝试使用 Scrapy 登录 Facebook。我在交互式 shell 中尝试了以下操作:

我设置了 header 并创建了一个请求，如下所示:

header_vals={'Accept-Language': ['en'], 'Content-Type': ['application/ 
x-www-form-urlencoded'], 'Accept-Encoding': ['gzip,deflate'], 
'Accept': ['text/html,application/xhtml+xml,application/xml;q=0.9,*/ 
*;q=0.8'], 'User-Agent': ['Mozilla/5.0 Gecko/20070219 Firefox/ 
2.0.0.2']}

login_request=Request('https://www.facebook.com/login.php',headers=header_vals) 

fetch(login_request) 

我被重定向了:

2011-08-11 13:54:54+0530 [default] DEBUG: Redirecting (meta refresh) 
to <GET https://www.facebook.com/login.php?_fb_noscript=1> from <GET 
https://www.facebook.com/login.php> 

...

[s]   request    <GET https://www.facebook.com/login.php> 

[s]   response   <200 https://www.facebook.com/login.php?_fb_noscript=1> 

我想如果我提供正确的，它不应该被重定向到那里标题？

我仍然尝试继续并使用FormRequest如下:

new_request=FormRequest.from_response(response,formname='login_form',formdata={'email':'...@email.com','pass':'password'},headers=header_vals)

new_request.meta['download_timeout']=180 

new_request.meta['redirect_ttl']=30 

fetch(new_request) 结果:

2011-08-11 14:05:45+0530 [default] DEBUG: Redirecting (meta refresh) 
to <GET https://www.facebook.com/login.php?login_attempt=1&_fb_noscript=1> 
from <POST https://www.facebook.com/login.php?login_attempt=1>
.
.

[s]   response   <200 https://www.facebook.com/login.php?login_attempt=1&_fb_noscript=1> 

.

我在这里错过了什么？感谢您的任何建议和帮助。

我要补充一点，我也用 BaseSpider 尝试过这个，看看这是否是 cookie 没有在 shell 中传递的结果，但它在那里也不起作用。

我能够使用 Mechanize 成功登录。我可以利用它以某种方式将 cookie 传递给 Scrapy 吗？

Answer 1

请注意重定向附近的“元重定向”文本。 Facebook 有一个 noscript 标签，可以自动将没有 javascript 的客户端重定向到“/login.php?_fb_noscript=1”。问题是您改为发布到“/login.php”并且总是被元刷新 header 重定向。

即使您解决了这个问题，它也是针对 Facebook robots.txt 的，所以您真的不应该这样做。

你为什么不直接使用 Facebook Graph API ？