r - 登录网站以使用 RCurl 获取数据

Question

我想使用RCurl登录网站并从网上抓取数据(不登录就看不到数据。)

我想在使用 RCurl 登录后将此(例如)“http://www.appannie.com/app/ios/instagram/ranking/history/chart_data/?s=2010-10-06&e=2012-06-04&c=143441&f=ranks&d=iphone”导出到 R 中。问题是我无法使用 RCurl 登录。我之前没有尝试过，所以我主要引用了 http://www.omegahat.org/RCurl/philosophy.html .

所以这就是我尝试过的。 (这里，'me@gmail.com' 是我的用户 ID，'9999' 是我的密码 - 我刚刚编造的。)

library(RJSONIO)
library(rjson)
library(RCurl)
appannie <- getURL("http://www.appannie.com/app/ios/instagram/ranking/history/chart_data/.json?s=2010-10-06&e=2012-06-04&c=143441&f=ranks&d=iphone, userpwd = me@gmail.com:9999", verbose = TRUE)

但这给了我以下信息:

About to connect() to www.appannie.com port 80 (#0)
*   Trying 69.167.138.64... * connected
* Connected to www.appannie.com (69.167.138.64) port 80 (#0)
> GET /app/ios/instagram/ranking/history/chart_data/?s=2010-10-06&e=2012-06-04&c=143441&f=ranks&d=iphone HTTP/1.1
Host: www.appannie.com
Accept: */*

< HTTP/1.1 403 FORBIDDEN
< Server: nginx/1.1.19
< Date: Fri, 01 Mar 2013 23:41:32 GMT
< Content-Type: text/html; charset=utf-8
< Transfer-Encoding: chunked
< Connection: keep-alive
< Keep-Alive: timeout=10
< Vary: Accept-Encoding
< Vary: Cookie,Accept-Encoding
< 
* Connection #0 to host www.appannie.com left intact

所以，我回去读了这个 http://www.omegahat.org/RCurl/philosophy.html再次不知道该怎么做，所以我在看到来自stackoverflow的类似问题后尝试了这个。

getURL("http://www.appannie.com/app/ios/instagram/ranking/history/chart_data/?s=2010-10-06&e=2012-06-04&c=143441&f=ranks&d=iphone",.opts=list(userpwd=me@gmail.com:9999"))

但这给了我以下输出。

[1] ""

谁能给我一个提示？ (经过一堆不同的试验，网站开始向我发送警告=(

Answer 1

这是某种身份验证问题，而不是您最有可能在 RCurl 上做错了什么。

您接通了服务器，但您的登录名不正确、无效或无法通过 API 获得数据。

http://en.wikipedia.org/wiki/HTTP_403